robots只能放在根目錄嗎？

可以明確地告訴robots文件只能放在網站根目錄，關于這一點也是很好理解的，前文提過robots文件就是針對搜索引擎蜘蛛的一種協(xié)議（有些蜘蛛不一定會遵守），搜索引擎蜘蛛進入網站都是先從網站根目錄，所以robots協(xié)議也只有在根目錄的時候才有效，而且需要注意的是robots文件的命名必須是robots.txt,只能用小寫字母。

什么是robots

在講解robots之前先給大家介紹一下什么是robots。借用百度百科的解釋robots是網站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

用一句話來解釋：robots就是蜘蛛與網站的一種協(xié)議。

至于robots有什么用，相信認真看上文的小伙伴還是有一定的收獲。冬鏡認為合理的robots還是有以下幾方面的好處：

1、可以避免蜘蛛爬取收錄我們不想展現給別人看的頁面。例如網站后臺地址，個人隱私日志等。

2、可以減輕服務器壓力。我們通過robots協(xié)議可以讓蜘蛛只抓取一部分頁面，避免蜘蛛胡亂抓取一些沒用的頁面，占用服務器資源。

3、正確的robots協(xié)議會提升整站質量，促使快速收錄排名，從而提高網站權重。

robots格式

先給大家看一個最簡單的robots文件的寫法：

User-agent: *
Disallow: /inc/
Allow: /uqseo
Sitemap: http://www.11px.cn/sitemap/home.xml