抓取如何利用百度蜘蛛referer找到报错页面入口?科网建沃3

referer  时间:2021-02-25  阅读:()

大家应该都知道百度已经全站https并取消referer关键词显示了

详情可查看文章百度站点属性功能升级全面取消referer关键词显示那么“百度蜘蛛referer”又是什么有什么妙用吗艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错4xx或者5xx原因。

编自www.yunadsl.com adsl拨号服务器注 由社区版主飞鹰正义也对文章做了补充修正。

什么是百度蜘蛛的referer

百度蜘蛛的referer是指当百度蜘蛛抓取某一个URL的时候在HTTP头中带的Referer字段。请注意这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo会发起这样的请求

上面Referer字段很明确的表示了他是从baidu这个页面上发现并抓取了baidu/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。 目前发现只有当百度抓取一个页的同时又抓取了页中的 img、 js和css才会带上referer字段。这部分额外的抓取量应该不会占用百度分配的抓取配额属于“买1送1”。对于站长的意义

如果你发现有一批URL仅限于img, js,css报错4xx或者5xx但是一直找不到入口在哪也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举个例子

比如我们的SEO 日志分析系统中可以看到符合下面这种URLPattern的路径每天有6万到10万的抓取而且全部报404。

从发现问题至今过了1个月查遍整个站我也没找到入口。今天偶然仔细查了一下日志想起了百度蜘蛛的referer马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面往往是这样。收录流量都不错。 由于最近公司图片系统更新 图片的URL全部更改了但这套页面并没有跟着更新。

如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”apache请参考:

apache log配置“Combined Log Format”章节apache log配置的官方链接

Nginx请参考nginx log配置nginx log配置的官方链接

结束语

·很多SEO问题并不是立即致命的所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

·系统性的知识积累还是会在关键时刻发挥作用的。

延伸阅读

百度取消referer关键词显示会对谁产生影响

百度https化、取消referer关键词显示有何影响

怎么看待“百度取消referer关键词”一举

PHP伪造referer实例代码

数脉科技香港物理机 E3 16G 10M 华为线路165元 阿里云线路 188元 Cera线路 157元

2021年9月中秋特惠优惠促销来源:数脉科技 编辑:数脉科技编辑部 发布时间:2021-09-11 03:31尊敬的新老客户:9月优惠促销信息如下,10Mbps、 30Mbps、 50Mbps、100Mbps香港优质或BGPN2、阿里云线路、华为云线路,满足多种项目需求!支持测试。全部线路首月五折起。数脉官网 https://my.shuhost.com/香港特价数脉阿里云华为云 10MbpsCN...

飞讯云E5-2678V3 64GB,湖北十堰100G高防物理机330元/月

飞讯云官网“飞讯云”是湖北飞讯网络有限公司旗下的云计算服务品牌,专注为个人开发者用户、中小型、大型企业用户提供一站式核心网络云端部署服务,促使用户云端部署化简为零,轻松快捷运用云计算。飞讯云是国内为数不多具有ISP/IDC双资质的专业云计算服务商,同时持有系统软件著作权证书、CNNIC地址分配联盟成员证书,通过了ISO27001信息安全管理体系国际认证、ISO9001质量保证体系国际认证。 《中华...

Budgetvm12核心 16G 500 GB SSD 或者 2 TB SATA 10GB  20 TB  99美金

Budgetvm(原EZ机房),2005年成立的美国老品牌机房,主打美国4个机房(洛杉矶、芝加哥、达拉斯、迈阿密)和日本东京机房的独立服务器和VPS业务,而且不限制流量,默认提供免费的1800G DDoS防御服务,支持IPv6和IPMI,多种免费中文操作系统可供选择,独立服务器主打大硬盘,多硬盘,大内存,用户可以在后台自行安装系统等管理操作!内存可定制升级到1536G,多块硬盘随时加,14TBSA...

referer为你推荐
个性qq资料QQ个性资料网站运营网站运营的工作做什么不兼容手机软件与系统不兼容应该怎么办今日热点怎么删除怎样删除实时热点淘宝店推广给淘宝店铺推广有什么好处?天天酷跑刷金币如何使用八门神器给天天酷跑刷钻刷金币硬盘人上海人说“硬盘”是什么梗网络广告投放网络广告投放有哪些技巧?什么是云平台谁能简单说一下什么是云平台啊?怎么上传音乐怎样可以上传本地音乐到网上?
合肥虚拟主机 未注册域名查询 南通服务器租用 欧洲免费vps google电话 韩国俄罗斯 站群服务器 ix主机 外国服务器 英语简历模板word 服务器日志分析 500m空间 165邮箱 谁的qq空间最好看 可外链网盘 1g空间 服务器干什么用的 昆明蜗牛家 paypal注册教程 smtp虚拟服务器 更多