大家应该都知道百度已经全站https并取消referer关键词显示了
详情可查看文章百度站点属性功能升级全面取消referer关键词显示那么“百度蜘蛛referer”又是什么有什么妙用吗艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错4xx或者5xx原因。
编自www.yunadsl.com adsl拨号服务器注 由社区版主飞鹰正义也对文章做了补充修正。
什么是百度蜘蛛的referer
百度蜘蛛的referer是指当百度蜘蛛抓取某一个URL的时候在HTTP头中带的Referer字段。请注意这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo会发起这样的请求
上面Referer字段很明确的表示了他是从baidu这个页面上发现并抓取了baidu/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。 目前发现只有当百度抓取一个页的同时又抓取了页中的 img、 js和css才会带上referer字段。这部分额外的抓取量应该不会占用百度分配的抓取配额属于“买1送1”。对于站长的意义
如果你发现有一批URL仅限于img, js,css报错4xx或者5xx但是一直找不到入口在哪也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
举个例子
比如我们的SEO 日志分析系统中可以看到符合下面这种URLPattern的路径每天有6万到10万的抓取而且全部报404。
从发现问题至今过了1个月查遍整个站我也没找到入口。今天偶然仔细查了一下日志想起了百度蜘蛛的referer马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面往往是这样。收录流量都不错。 由于最近公司图片系统更新 图片的URL全部更改了但这套页面并没有跟着更新。
如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”apache请参考:
apache log配置“Combined Log Format”章节apache log配置的官方链接
Nginx请参考nginx log配置nginx log配置的官方链接
结束语
·很多SEO问题并不是立即致命的所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。
·系统性的知识积累还是会在关键时刻发挥作用的。
延伸阅读
百度取消referer关键词显示会对谁产生影响
百度https化、取消referer关键词显示有何影响
怎么看待“百度取消referer关键词”一举
PHP伪造referer实例代码
提速啦的来历提速啦是 网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑 由赣州王成璟网络科技有限公司旗下赣州提速啦网络科技有限公司运营 投资1000万人民币 在美国Cera 香港CTG 香港Cera 国内 杭州 宿迁 浙江 赣州 南昌 大连 辽宁 扬州 等地区建立数据中心 正规持有IDC ISP CDN 云牌照 公司。公司购买产品支持3天内退款 超过3天步退款政策。提速啦的市场定位提速啦主...
BuyVM 商家算是有一些年头,从早年提供低价便宜VPS主机深受广大网友抢购且也遭到吐槽的是因为审核账户太过于严格。毕竟我们国内的个人注册账户喜欢账户资料乱写,毕竟我们看英文信息有些还是比较难以识别的,于是就注册信息的时候随便打一些字符,这些是不能通过的。前几天,我们可以看到BUYVM商家有新增加迈阿密机房,而且商家有提供大硬盘且不限制流量的VPS主机,深受有一些网友的喜欢。目前,BUYVM商家有...
RAKsmart怎么样?RAKsmart是一家由华人运营的国外主机商,提供的产品包括独立服务器租用和VPS等,可选数据中心包括美国加州圣何塞、洛杉矶、中国香港、韩国、日本、荷兰等国家和地区数据中心(部分自营),支持使用PayPal、支付宝等付款方式,网站可选中文网页,提供中文客服支持。本月商家继续提供每日限量秒杀服务器月付30.62美元起,除了常规服务器外,商家美国/韩国/日本站群服务器、1-10...