Robots.txt 文件應放在哪里？

robots.txt 文件必須放在網站的根目錄。

放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會起任何作用。

如：

http://m.hirono.cn/robots.txt    是有效的。

http://m.hirono.cn/a/robots.txt  是無效的。

以下3種情況需要注意：

1、如果手機網站采用的是m.的二級域名，要給手機網站設置robots.txt的話，robots.txt要放在m. 這個二級域名的根目錄下，而不是www的根目錄。

2、給網站添加了一個站內站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內站創(chuàng)建獨立的robtos.txt文件。

3、網站有多個二級域名的話，應該每個二級域名設置一個robots.txt。搜外問答的例子，點擊查看。

擴展閱讀：

robots.txt概念和10條注意事項