您的百度蜘蛛异常爬网的原因

有一些网页具有高质量的内容并且用户可以正常访问但是Baiduspider无法正常访问和爬网从而导致搜索结果覆盖范围不足这对百度搜索引擎和网站来说是一个损失。百度称这种情况为异常。

对于大量内容无法正常爬网的网站百度搜索引擎会认为该网站存在用户体验缺陷并会降低对该网站的评估。抓取编制索引和排名将在一定程度上受到负面影响并最终影响从百度获得的网站Traffic。

将异常抓取到网站站长的一些常见原因

1。伺服器连线异常

伺服器连线异常有两种情况一种是网站不稳定而尝试连接到您网站的服务器时Baiduspider暂时无法连线另一个是Baiduspider无法连接到您网站的服务器。

服务器连接异常的原因通常是您的Web服务器太大且过载。

您的网站也可能无法正常运行。请检查网站的Web服务器如apache和i is是否已安装并正常运行并使用浏览器检查是否可以正常访问主页。

您的网站和主机也可能阻止Baiduspider的访问您需要检查网站和主机的防火墙。

2。网络运营商异常网络运营商有两种电信运营商和中国联通。Baiduspider无法通过电信或网通访问您的网站。

如果发生这种情况则需要与网络服务运营商联系或者购买带有

双线服务的空间或购买CDN服务。

3。 DNS异常当Baiduspider无法解析您的网站IP时将发生DNS异常。

可能是您网站的IP地址错误或者域名服务提供商已阻止Baiduspider。

请使用WHOIS或主机检查您网站的IP地址是否正确且可解析。如果不正确或无法解决请联系域名注册商更新您的IP地址。

4。 IP禁令 IP禁令是限制网络的出口IP地址禁止该IP网段的用户访问内容这里专门指禁止BaiduspiderIP。

仅当您的网站不希望Baiduspider访问时才需要此设置。如果您想让Baiduspider访问您的网站请检查在相关设置中是否误添加了BaiduspiderIP。

您的网站所在的空间服务提供商也可能已禁止百度IP那么您需要与服务提供商联系以更改设置。

5。 UA阻止UA是用户代理服务器通过UA识别访问者的身份。当网站返回到异常页面例如403、 500或跳转到另一个页面以进行特定的UA访问时该用户将被禁止使用UA。

当您的网站不想要Bai

仅在访问duspider时才需要此设置。如果要让Baiduspider访问您的网站请在与useragent相关的设置中是否存在Baiduspider UA并及时进行修改。

6。无效链接该页面无效并且无法向用户提供任何有价值信息的

页面是无效链接包括协议无效链接和内容无效链接两种形式Protocol dead l ink 页面的TCP协议状态/HTTP协议状态明确指示的无效链接例如404、 403、 503状态等。

Content无效链接正常使服务器返回状态但内容已更改为不存在已删除或需要与原始内容无关的权限信息页面。

对于无效链接我们建议网站使用协议无效链接并通过百度网站站长平台无效链接工具将其提交给百度以便百度可以更快地找到无效链接并减少无效链接对用户和搜索引擎的负面影响。

7。异常跳转将网络请求重定向到另一个位置就是跳转。

异常跳转是指以下情况

1当前页面无效。该页面的内容已被删除无效链接等直接跳转到上一个目录或主页百度建议网站管理员删除无效页面的条目超链接

2跳转到错误或无效的页面

注意对于长期重定向到其他域名例如更改网站的域名百度建议使用301重定向协议进行设置。

8。其他例外

1百度引荐异常从百度返回引荐的网页行为与正常内容不同。2异常百度UA该网页返回百度UA的行为与该页面的原始内容不同。

3JSJS跳转例外该网页加载了百度可以执行的JS跳转代码4压力过大引起的意外禁止百度会根据该网站自动设置合理的爬

网压力\\u0027s规模和流量。

但是在异常情况下例如压力控制异常时 有时会根据其自身的负载禁止服务器进行保护。

在这种情况下请在返回码中返回503 这表示服务不可用因此Baiduspider将在一段时间后尝试再次抓取此链接。如果该网站是免费的则将成功爬网dguansxc.jimdofree.comjmenvx.jimdofree.comzjxinc.jimdofree.comgzhoudlcs.jimdofree.comgd l i uctx.j i mdofree.comhyuanzs.jimdofree.com