spidertxtrobots.txt文件中应该屏蔽哪些目录

spidertxt  时间:2021-01-07  阅读:()

robots.txt文件中应该屏蔽哪些目录

但是,你真的知道网站的robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处? 那下面带着这些疑问,笔者会进行详细的解答,希望对新手站长朋友们有所帮助,老鸟勿喷。

一、什么是robots.txt 笔者引用百度站长工具中后段话来解释。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。

您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站有什么好处 1、快速增加网站权重和访问量; 2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度; 3、为搜索引擎提供一个简洁明了的索引环境 三、哪些网站的目录需要使用robots.txt文件禁止抓取 1)、图片目录 图片是构成网站的主要组成元素。

随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站,而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。

如果你非要用这种网站的话,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img; 2)、网站模板目录 如上面 图片目录 中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余,且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。

对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录,因此,应该进行模板目录的屏蔽。

通常模板目录的文件目录是:templets 3)、CSS、JS目录的屏蔽 CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。

所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。

为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。

CSS样式的目录通常情况下是:CSS 或者 style JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境; 4)、屏蔽双页面的内容 这里拿DEDECMS来举例吧。

大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。

这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。

这样做对搜索引擎友好性来说是有益无害的。

5)、模板缓存目录 很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。

不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。

很多使用CMS建站的朋友都没有注意到,必须要引起重视。

6)被删除的目录 死链过多,对搜索引擎优化来说,是致命的。

不能不引起站长的高度重视,。

在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值 或者 文件,而不应该是:URL,以防止搜索引擎返回200的状态码。

至于怎么设置,网上教程很多,大家要吧搜索一下) 这里有一个争议性的问题,关于网站后台管理目录是否需要进行屏蔽,其实这个可有可无。

在能保证网站安全的情况下,如果你的网站运营规模较小,就算网站管理目录出现在robots.txt文件中,也没有多大问题,这个我也见过很多网站这样设置的;但如果你的网站运营规模较大,竞争夺手过多,强烈建议千万别出现任何你网站后台管理目录的信息,以防被别有用心的人利用,损害你的利益;其实搜索引擎越来越智能,对于网站的管理目录还是能很好的识别,并放弃索引的。

另外,大家在做网站后台的时候,也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

最后,需要说明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这里并不是去屏蔽搜索引擎,而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。

ReliableSite怎么样,月付$95美国洛杉矶独立服务器

ReliableSite怎么样?ReliableSite好不好。ReliableSite是一家成立于2006年的老牌美国商家,主要经营美国独立服务器租赁,数据中心位于:洛杉矶、迈阿密、纽约,带宽1Gbps起步,花19美元/月即可升级到10Gbps带宽,月流量150T足够各种业务场景使用,且免费提供20Gbps DDoS防护。当前商家有几款大硬盘美国独服,地点位于美国洛杉矶或纽约机房,机器配置很具有...

wordpress专业外贸建站主题 WordPress专业外贸企业网站搭建模版

WordPress专业外贸企业网站搭建模版,特色专业外贸企业风格 + 自适应网站开发设计 通用流行的外贸企业网站模块 + 更好的SEO搜索优化和收录 自定义多模块的产品展示功能 + 高效实用的后台自定义模块设置!采用标准的HTML5+CSS3语言开发,兼容当下的各种主流浏览器: IE 6+(以及类似360、遨游等基于IE内核的)、Firefox、Google Chrome、Safari、Opera...

远程登录VNC无法连接出现

今天有网友提到自己在Linux服务器中安装VNC桌面的时候安装都没有问题,但是在登录远程的时候居然有出现灰色界面,有三行代码提示"Accept clipboard from viewers,Send clipboard to viewers,Send primary selection to viewers"。即便我们重新登录也不行,这个到底如何解决呢?这里找几个可以解决的可能办法,我们多多尝试。...

spidertxt为你推荐
软银巨亏为什么马云说支付宝如果被抓 知乎桌面背景图片风景推荐个电脑桌面壁纸316不锈钢和304哪个好保温杯不锈钢316和304哪个好p图软件哪个好用什么P图软件好用?聚酯纤维和棉哪个好聚酯纤维棉和羽丝绵哪个好少儿英语哪个好少儿英语教材哪个好?群空间登录群空间无法正常登陆的问题qq空间登录不上qq空间登不上去YunOS手机显示yunos停止运行是什么意思360云盘关闭360云盘关闭了 里面的东西怎么办
免备案虚拟空间 香港服务器租用 qq空间域名 域名备案收费吗 唯品秀 uk2 59.99美元 permitrootlogin 网站实时监控 免费个人网站申请 国外代理服务器地址 免费申请网站 昆明蜗牛家 厦门电信 日本代理ip 阿里云个人邮箱 美国主机侦探 alexa世界排名 apache启动失败 免费服务器 更多