robots協(xié)議是我們的網(wǎng)站與各搜索引擎的一個(gè)協(xié)議，如果你還不知道robots協(xié)議的重要性，那么本片文章你必須認(rèn)真學(xué)習(xí)了，因?yàn)閞obots協(xié)議對(duì)一個(gè)網(wǎng)站來(lái)說(shuō)十分重要。那么接下來(lái)大家一起來(lái)學(xué)習(xí)什么是robots.txt。

一、什么是robots.txt文件

1、它是我們的網(wǎng)站與各搜索引擎的一個(gè)協(xié)議，只是一個(gè)協(xié)議，搜索引擎不一定會(huì)遵守。

2、搜索引擎蜘蛛訪問(wèn)我們的網(wǎng)站時(shí)，第一個(gè)查看的文件就是我們網(wǎng)站根目錄下的一個(gè)命名為robots.txt的文件。

3、robots協(xié)議不是今天寫(xiě)了，搜索引擎今天就會(huì)遵守，以百度為例其生效時(shí)間，需要兩個(gè)月后才會(huì)遵守這個(gè)協(xié)議；

二、robots.txt文件編寫(xiě)規(guī)則

1、User-agent: 定義搜索引擎類(lèi)型，常見(jiàn)的各搜索引擎的名字分別是：Baiduspider(百度蜘蛛)、Googlebot(谷歌蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)、Youdaobot（有道蜘蛛）等。小付SEO博客robots.txt文件第一行寫(xiě)的是User-agent: *，其中“*”是通配符，代表小付的SEO博客，允許所以的搜索引擎抓取。如果寫(xiě)成User-agent: Baiduspider，表示只有百度蜘蛛可以抓取我的網(wǎng)站內(nèi)容。

2、Disallow:告訴蜘蛛不要抓取某些文件或目錄，以小付博客的robots.txt文件為例：

Disallow: /wp-admin/，表示所有 URL路徑里完全含有/wp-admin/這段字符的路徑，搜索引擎蜘蛛都不能抓?。槐热纾篽ttp://www.ncsseo.com/wp-admin/post-new.php，這個(gè)鏈接搜索引擎蜘蛛是不能抓取的；

3、Allow:告訴搜索引擎蜘蛛哪些文件是可以抓取的。由于不指定就是允許抓取的，Allow:單獨(dú)寫(xiě)沒(méi)有意義，Allow是需要和Disallow配合使用，可以告訴搜索引擎蜘蛛某個(gè)目錄下大部分不允許抓取，只允許抓取一部分。例如：下面的代碼將使蜘蛛不抓取/ab/目錄下其他目錄和文件，但是允許抓取其中/cd/目錄下的內(nèi)容：

User-agent: *

Disallow: /ab/

Allow: /ab/cd/

還需要說(shuō)明的是，注意撰寫(xiě)的先后順序，必須是這樣。 4、其他符合含義說(shuō)明： 1)”*”通配符：告訴蜘蛛匹配任意一段字符，例如：下面一段代碼將禁止蜘蛛抓取所有htm文件：

User-agent: *

Disallow: /*.htm

2)”$”通配符：匹配URL結(jié)尾的字符。例如：下面的代碼將允許蜘蛛抓取以.htm為后綴的URL：

User-agent: *

Allow: .htm$

下面的代碼將禁止百度抓取所有.jpg文件：

User-agent: Baiduspider

Disallow: .jpg$

三、robots.txt的作用

1、告訴某搜索引擎 抓取或者不抓取我們網(wǎng)站的某些內(nèi)容；

2、告訴搜索引擎我們網(wǎng)站優(yōu)化的完善程度 ；

3、告訴搜索引擎應(yīng)該通過(guò)哪個(gè)文件來(lái)索引我們的網(wǎng)站（邏輯路徑）

四、常見(jiàn)的哪些情況下是不需要蜘蛛抓取

1、網(wǎng)站的賬戶(hù)密碼、模板、網(wǎng)站的主程序、小圖標(biāo)；

2、一個(gè)頁(yè)面有很多路徑，只允許搜索頁(yè)抓取其中的1條，其他的不允許（統(tǒng)一路徑）；

3、屏蔽tag中文路徑，例如wordpress做了偽靜態(tài)，就要屏蔽動(dòng)態(tài)（tags.php?/%E%R）

4、標(biāo)簽鏈接、搜索頁(yè)、js文件；

五、robots.txt文件編寫(xiě)的注意事項(xiàng)

1、注意符號(hào)細(xì)節(jié)的使用：/、：、大小寫(xiě)、空格等。比如：下面的例子表示所有搜索引擎不能抓取該網(wǎng)站；

User-agent: *

Disallow: /

2、一般robots.txt文件編寫(xiě)并提交后，需要幾天到兩個(gè)月以?xún)?nèi)才會(huì)生效；

3、不要隨意屏蔽整站，會(huì)導(dǎo)致搜索引擎蜘蛛很久都不會(huì)來(lái)抓取你的網(wǎng)站；

4、所有的語(yǔ)句必須每個(gè)一行；不能這樣寫(xiě)：

User-agent: *

Disallow: /wp-admin/ /wp-content/ /wp-includes/

正確寫(xiě)法參考小付的robots.txt文件；

5、我們可以把網(wǎng)站地圖URL放在robots.txt文件里，因?yàn)樵撐募侵┲氲谝粋€(gè)抓取的文件，這樣更 加方便蜘蛛快速抓??；以小付博客為例，講一下URL寫(xiě)入該文件，如上圖所示；