大家应该都知道百度已经全站https并取消referer关键词显示了
详情可查看文章百度站点属性功能升级全面取消referer关键词显示那么“百度蜘蛛referer”又是什么有什么妙用吗艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错4xx或者5xx原因。
编自www.yunadsl.com adsl拨号服务器注 由社区版主飞鹰正义也对文章做了补充修正。
什么是百度蜘蛛的referer
百度蜘蛛的referer是指当百度蜘蛛抓取某一个URL的时候在HTTP头中带的Referer字段。请注意这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo会发起这样的请求
上面Referer字段很明确的表示了他是从baidu这个页面上发现并抓取了baidu/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。 目前发现只有当百度抓取一个页的同时又抓取了页中的 img、 js和css才会带上referer字段。这部分额外的抓取量应该不会占用百度分配的抓取配额属于“买1送1”。对于站长的意义
如果你发现有一批URL仅限于img, js,css报错4xx或者5xx但是一直找不到入口在哪也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
举个例子
比如我们的SEO 日志分析系统中可以看到符合下面这种URLPattern的路径每天有6万到10万的抓取而且全部报404。
从发现问题至今过了1个月查遍整个站我也没找到入口。今天偶然仔细查了一下日志想起了百度蜘蛛的referer马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面往往是这样。收录流量都不错。 由于最近公司图片系统更新 图片的URL全部更改了但这套页面并没有跟着更新。
如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”apache请参考:
apache log配置“Combined Log Format”章节apache log配置的官方链接
Nginx请参考nginx log配置nginx log配置的官方链接
结束语
·很多SEO问题并不是立即致命的所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。
·系统性的知识积累还是会在关键时刻发挥作用的。
延伸阅读
百度取消referer关键词显示会对谁产生影响
百度https化、取消referer关键词显示有何影响
怎么看待“百度取消referer关键词”一举
PHP伪造referer实例代码
如今我们还有在做个人网站吗?随着自媒体和短视频的发展和兴起,包括我们很多WEB2.0产品的延续,当然也包括个人建站市场的低迷和用户关注的不同,有些个人已经不在做网站。但是,由于我们有些朋友出于网站的爱好或者说是有些项目还是基于PC端网站的,还是有网友抱有信心的,比如我们看到有一些老牌个人网站依旧在运行,且还有新网站的出现。今天在这篇文章中谈谈有网友问关于个人网站备案的问题。这个也是前几天有他在选择...
wordpress高级企业自适应主题,通用型企业展示平台 + 流行宽屏设计,自适应PC+移动端屏幕设备,完美企业站功能体验+高效的自定义设置平台。一套完美自适应多终端移动屏幕设备的WordPress高级企业自适应主题, 主题设置模块包括:基本设置、首页设置、社会化网络设置、底部设置、SEO设置; 可以自定义设置网站通用功能模块、相关栏目、在线客服及更多网站功能。点击进入:wordpress高级企业...
部落分享过多次G-core(gcorelabs)的产品及评测信息,以VPS主机为主,距离上一次分享商家的独立服务器还在2年多前,本月初商家针对迈阿密机房限定E5-2623v4 CPU的独立服务器推出75折优惠码,活动将在9月30日到期,这里再分享下。G-core(gcorelabs)是一家总部位于卢森堡的国外主机商,主要提供基于KVM架构的VPS主机和独立服务器租用等,数据中心包括俄罗斯、美国、日...