抓取如何利用百度蜘蛛referer找到报错页面入口?科网建沃3

referer  时间:2021-02-25  阅读:()

大家应该都知道百度已经全站https并取消referer关键词显示了

详情可查看文章百度站点属性功能升级全面取消referer关键词显示那么“百度蜘蛛referer”又是什么有什么妙用吗艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错4xx或者5xx原因。

编自www.yunadsl.com adsl拨号服务器注 由社区版主飞鹰正义也对文章做了补充修正。

什么是百度蜘蛛的referer

百度蜘蛛的referer是指当百度蜘蛛抓取某一个URL的时候在HTTP头中带的Referer字段。请注意这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo会发起这样的请求

上面Referer字段很明确的表示了他是从baidu这个页面上发现并抓取了baidu/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。 目前发现只有当百度抓取一个页的同时又抓取了页中的 img、 js和css才会带上referer字段。这部分额外的抓取量应该不会占用百度分配的抓取配额属于“买1送1”。对于站长的意义

如果你发现有一批URL仅限于img, js,css报错4xx或者5xx但是一直找不到入口在哪也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举个例子

比如我们的SEO 日志分析系统中可以看到符合下面这种URLPattern的路径每天有6万到10万的抓取而且全部报404。

从发现问题至今过了1个月查遍整个站我也没找到入口。今天偶然仔细查了一下日志想起了百度蜘蛛的referer马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面往往是这样。收录流量都不错。 由于最近公司图片系统更新 图片的URL全部更改了但这套页面并没有跟着更新。

如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”apache请参考:

apache log配置“Combined Log Format”章节apache log配置的官方链接

Nginx请参考nginx log配置nginx log配置的官方链接

结束语

·很多SEO问题并不是立即致命的所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

·系统性的知识积累还是会在关键时刻发挥作用的。

延伸阅读

百度取消referer关键词显示会对谁产生影响

百度https化、取消referer关键词显示有何影响

怎么看待“百度取消referer关键词”一举

PHP伪造referer实例代码

DiyVM:50元/月起-双核,2G内存,50G硬盘,香港/日本/洛杉矶机房

DiyVM是一家比较低调的国人主机商,成立于2009年,提供VPS主机和独立服务器租用等产品,其中VPS基于XEN(HVM)架构,数据中心包括香港沙田、美国洛杉矶和日本大阪等,CN2或者直连线路,支持异地备份与自定义镜像,可提供内网IP。本月商家最高提供5折优惠码,优惠后香港沙田CN2线路VPS最低2GB内存套餐每月仅50元起。香港(CN2)VPSCPU:2cores内存:2GB硬盘:50GB/R...

BGPTO独服折优惠- 日本独服65折 新加坡独服75折

BGPTO是一家成立于2017年的国人主机商,从商家背景上是国内的K总和有其他投资者共同创办的商家,主营是独立服务器业务。数据中心包括美国洛杉矶Cera、新加坡、日本大阪和香港数据中心的服务器。商家对所销售服务器产品拥有自主硬件和IP资源,支持Linux和Windows。这个月,有看到商家BGPTO日本和新加坡机房独服正进行优惠促销,折扣最低65折。第一、商家机房优惠券码这次商家的活动机房是新加坡...

TmhHost暑假活动:高端线路VPS季付8折优惠,可选洛杉矶CN2 GIA/日本软银/香港三网CN2 GIA/韩国双向CN2等

tmhhost怎么样?tmhhost正在搞暑假大促销活动,全部是高端线路VPS,现在直接季付8折优惠,活动截止时间是8月31日。可选机房及线路有美国洛杉矶cn2 gia+200G高防、洛杉矶三网CN2 GIA、洛杉矶CERA机房CN2 GIA,日本软银(100M带宽)、香港BGP直连200M带宽、香港三网CN2 GIA、韩国双向CN2。点击进入:tmhhost官方网站地址tmhhost优惠码:Tm...

referer为你推荐
百度抢票浏览器百度手机浏览器怎么抢票 手机百度浏览器抢票方法依赖注入依赖注入到底是为了解决什么问题的自助建站自助建站到底好还是不好arm开发板ARM开发板具体有什么作用?有什么商业价值?今日热点怎么删除今日热点自动弹出怎么卸载或屏蔽blogcnblogcn网页无法正常显示,直接跳转http://www.7t7t.com/7?防钓鱼游戏中的防钓鱼检查是什么?购买流量手机买流量怎么买呀怎样申请支付宝如何申请支付宝网页窗口最大化怎么现在不能直接将网页窗口最大化
jsp虚拟主机 顶级域名 欧洲欧洲vps 广东vps cn域名个人注册 西安电信测速 vultr美国与日本 视频存储服务器 空间服务商 华为网络硬盘 hkg 秒杀汇 gtt 申请网站 域名与空间 空间登录首页 智能dns解析 net空间 美国迈阿密 免费稳定空间 更多