搜索引擎频繁抓取导致网站挂掉

htaccess 时间:2021-01-11 阅读:()

从上周开始,我博客就经常出现了BadRequest(InvalidHostname)错误,询问网站服务器商只得知网站的并发过高,从而被服务器商限制网站访问.
可是我天天都会去看网站的流量统计,没有一点异常,怎么可能会并发过高后来我查看了一下网站的搜索引擎抓取网站的日志,发现每分钟都有大量的页面被搜索引擎抓取!
难怪网站的并发过高!
!

展开全文

搜索引擎频繁抓取导致网站挂掉相关文档

文件.htaccess文件设置的十六大技巧

目录详解Apache中.htaccess文件的功能写法

百纵科技(19元/月),美国洛杉矶10G防御服务器/洛杉矶C3机房带金盾高防

百纵科技官网：https://www.baizon.cn/百纵科技:美国云服务器活动重磅来袭,洛杉矶C3机房带金盾高防,会员后台可自助管理防火墙,添加黑白名单 CC策略开启低中高.CPU全系列E52680v3 DDR4内存三星固态盘列阵。另有高防清洗！美国洛杉矶 CN2 云服务器CPU内存带宽数据盘防御价格1H1G10M10G10G19元/月购买地址2H1G10M10G10G29元/月购买...

阿里云服务器绑定域名的几个流程整理

今天遇到一个网友，他之前一直在用阿里云虚拟主机，我们知道虚拟主机绑定域名是直接在面板上绑定的。这里由于他的网站项目流量比较大，虚拟主机是不够的，而且我看他虚拟主机已经有升级过。这里要说的是，用过阿里云虚拟主机的朋友可能会比较一下价格，实际上虚拟主机价格比云服务器还贵。所以，基于成本和性能的考虑，建议他选择云服务器。毕竟他的备案都接入在阿里云。这里在选择阿里云服务器后，他就蒙圈不知道如何绑定域名。这...

RAKsmart秒杀服务器$30/月,洛杉矶/圣何塞/香港/日本站群特价

RAKsmart发布了9月份优惠促销活动，从9月1日~9月30日期间，爆款美国服务器每日限量抢购最低$30.62-$46/月起，洛杉矶/圣何塞/香港/日本站群大量补货特价销售，美国1-10Gbps大带宽不限流量服务器低价热卖等。RAKsmart是一家华人运营的国外主机商，提供的产品包括独立服务器租用和VPS等，可选数据中心包括美国加州圣何塞、洛杉矶、中国香港、韩国、日本、荷兰等国家和地区数据中心(...

搜索引擎频繁抓取导致网站挂掉

百纵科技(19元/月),美国洛杉矶10G防御服务器/洛杉矶C3机房 带金盾高防

阿里云服务器绑定域名的几个流程整理

RAKsmart秒杀服务器$30/月,洛杉矶/圣何塞/香港/日本站群特价

百纵科技(19元/月),美国洛杉矶10G防御服务器/洛杉矶C3机房带金盾高防