robotstxtrobots.txt和robots meta标签 有什么作用 ，怎么查看

robots.txt文件主要是干什么的？

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。

因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

robots.txt应放置于网站的根目录下。

如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

robots.txt 写在什么位置

应该写在该站点根目录下 robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt是一个必须放在根目录底下的纯文本文件，文件名必须全部是小写的字母即“robots.txt”，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

robots.txt有什么作用

robots.txt是与百度蜘蛛对话的文件，可以有效的屏蔽一些你不想要百度蜘蛛进行爬取的文件以及网页，这个设置与否要看个人网站和个人需求了。

例如我的网站，其中有个论坛，我就把所有动态网页都禁止爬行收录了，还有一些会员的注册信息、个人档案的都给屏蔽了！

robots.txt和robots meta标签 有什么作用 ，怎么查看

robots.txt和robots meta标签都是搜索引擎机器人爬行协议 控制搜索引擎爬行站点内文件（txt管理）或者网页内代码（meta管理）的一种协议。

一般meta支持的不广，所以只用txt就可以了。

这个需要自己写 具体语法我举个例子 User-agent: * Disallow: /image/ Disallow: /Image/ Disallow: /UpLoadFiles/ Disallow: /Web_Offices/