搜索引擎频繁抓取导致网站挂掉

htaccess 时间:2021-01-11 阅读:()

从上周开始,我博客就经常出现了BadRequest(InvalidHostname)错误,询问网站服务器商只得知网站的并发过高,从而被服务器商限制网站访问.
可是我天天都会去看网站的流量统计,没有一点异常,怎么可能会并发过高后来我查看了一下网站的搜索引擎抓取网站的日志,发现每分钟都有大量的页面被搜索引擎抓取!
难怪网站的并发过高!
!

展开全文

搜索引擎频繁抓取导致网站挂掉相关文档

文件.htaccess文件设置的十六大技巧

目录详解Apache中.htaccess文件的功能写法

ThomasHost(月付5美元)美国/法国/英国/加拿大KVM,支持Windows

ThomasHost域名注册自2012年，部落最早分享始于2016年，还算成立了有几年了，商家提供基于KVM架构的VPS，数据中心包括美国、法国、英国、加拿大和爱尔兰等6个地区机房，VPS主机套餐最低2GB内存起步，支持Windows或者Linux操作系统，1Gbps端口不限制流量。最近商家提供了一个5折优惠码，优惠后最低套餐月付5美元起。下面列出部分套餐配置信息。CPU：1core内存：2GB硬...

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽年74元

昨天，有在"阿里云秋季促销活动轻量云服务器2G5M配置新购年60元"文章中记录到阿里云轻量服务器2GB内存、5M带宽一年60元的活动，当然这个也是国内机房的。我们很多人都清楚备案是需要接入的，如果我们在其他服务商的域名备案的，那是不能解析的。除非我们不是用来建站，而是用来云端的，是可以用的。这不看到其对手腾讯云也有推出两款轻量服务器活动。其中一款是4GB内存、8M带宽，这个比阿里云还要狠。这个真...

如何低价香港服务器购买?有没有便宜的香港服务器推荐?

如何低价香港服务器购买?想要做一个个人博客，想用香港服务器，避免繁琐备案，性能不需要多高，只是记录一些日常而已，也没啥视频之类的东西，想问问各位大佬有没有低价的香港服务器推荐?香港距大陆近，相比美国服务器最大的优势在于延迟低，ping值低，但是带宽紧张，普遍都是1M，一般戏称其为“毛细血管”。同时价格普遍高，优质稳定的一般价格不菲。大厂云梯队阿里云、腾讯云两家都有香港服务器，要注意的是尽量不要选择...

搜索引擎频繁抓取导致网站挂掉

ThomasHost(月付5美元)美国/法国/英国/加拿大KVM,支持Windows

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽 年74元

如何低价香港服务器购买?有没有便宜的香港服务器推荐?

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽年74元