robots.txt文件必须放在网站的根目录。放在子目录的 Robots.txt文件搜索引擎不能爬取到,所以不会起任何作用。例子:http://www.itzhp.com/robots.txt 有效http://www.itzhp.com/ibm/robots.txt 无效如果你不能控制根目录的robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。