抓取如何利用百度蜘蛛referer找到报错页面入口?科网建沃3

referer  时间:2021-02-25  阅读:()

大家应该都知道百度已经全站https并取消referer关键词显示了

详情可查看文章百度站点属性功能升级全面取消referer关键词显示那么“百度蜘蛛referer”又是什么有什么妙用吗艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错4xx或者5xx原因。

编自www.yunadsl.com adsl拨号服务器注 由社区版主飞鹰正义也对文章做了补充修正。

什么是百度蜘蛛的referer

百度蜘蛛的referer是指当百度蜘蛛抓取某一个URL的时候在HTTP头中带的Referer字段。请注意这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo会发起这样的请求

上面Referer字段很明确的表示了他是从baidu这个页面上发现并抓取了baidu/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。 目前发现只有当百度抓取一个页的同时又抓取了页中的 img、 js和css才会带上referer字段。这部分额外的抓取量应该不会占用百度分配的抓取配额属于“买1送1”。对于站长的意义

如果你发现有一批URL仅限于img, js,css报错4xx或者5xx但是一直找不到入口在哪也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举个例子

比如我们的SEO 日志分析系统中可以看到符合下面这种URLPattern的路径每天有6万到10万的抓取而且全部报404。

从发现问题至今过了1个月查遍整个站我也没找到入口。今天偶然仔细查了一下日志想起了百度蜘蛛的referer马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面往往是这样。收录流量都不错。 由于最近公司图片系统更新 图片的URL全部更改了但这套页面并没有跟着更新。

如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”apache请参考:

apache log配置“Combined Log Format”章节apache log配置的官方链接

Nginx请参考nginx log配置nginx log配置的官方链接

结束语

·很多SEO问题并不是立即致命的所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

·系统性的知识积累还是会在关键时刻发挥作用的。

延伸阅读

百度取消referer关键词显示会对谁产生影响

百度https化、取消referer关键词显示有何影响

怎么看待“百度取消referer关键词”一举

PHP伪造referer实例代码

NameCheap优惠活动 新注册域名38元

今天上午有网友在群里聊到是不是有新注册域名的海外域名商家的优惠活动。如果我们并非一定要在国外注册域名的话,最近年中促销期间,国内的服务商优惠力度还是比较大的,以前我们可能较多选择海外域名商家注册域名在于海外商家便宜,如今这几年国内的商家价格也不贵的。比如在前一段时间有分享到几个商家的年中活动:1、DNSPOD域名欢购活动 - 提供域名抢购活动、DNS解析折扣、SSL证书活动2、难得再次关注新网商家...

香港 1核1G 29元/月 美国1核 2G 36元/月 快云科技

快云科技: 11.11钜惠 美国云机2H5G年付148仅有40台,云服务器全场7折,香港云服务器年付388仅不到五折 公司介绍:快云科技是成立于2020年的新进主机商,持有IDC/ICP/ISP等证件资质齐全主营产品有:香港弹性云服务器,美国vps和日本vps,香港物理机,国内高防物理机以及美国日本高防物理机官网地址:www.345idc.com活动截止日期为2021年11月13日此次促销活动提供...

小渣云(36元/月)美国VPS洛杉矶 8核 8G

小渣云 做那个你想都不敢想的套餐 你现在也许不知道小渣云 不过未来你将被小渣云的产品所吸引小渣云 专注于一个套餐的商家 把性价比 稳定性 以及价格做到极致的商家,也许你不相信36元在别人家1核1G都买不到的价格在小渣云却可以买到 8核8G 高配云服务器,并且在安全性 稳定性 都是极高的标准。小渣云 目前使用的是美国超级稳定的ceranetworks机房 数据安全上 每5天备份一次数据倒异地 支持一...

referer为你推荐
百度k站百度是怎么样k站的呢?刷网站权重如何刷流量才能提高网站权重简体翻译成繁体简体字怎么换成繁体。。?ghostxp3GHOSTxp sp3系统有什么优点和缺点???1433端口1433端口怎么打开百度手写百度如何手写:今日热点怎么删除千牛里面的今日热点怎么取消_?迅雷云点播账号求迅雷云播账号mate8价格华为mate8 128g售价多少钱宕机宕机是什么意思
郑州服务器租用 万网域名代理 东莞电信局 加勒比群岛 rak机房 搜狗抢票助手 ev证书 新站长网 debian7 网盘申请 什么是刀片服务器 腾讯实名认证中心 四核服务器 超级服务器 www789 web应用服务器 个人免费邮箱 1美元 google搜索打不开 windowssever2008 更多