在說(shuō)帝國(guó)CMS-robots.txt文件使用前先給大家解釋下robots.tx是干什么的。
robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議等)也就是robots.txt,網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。Robots協(xié)議是網(wǎng)站國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范,其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶(hù)個(gè)人信息和隱私不被侵犯。因其不是命令,故需要搜索引擎自覺(jué)遵守。一些病毒如malware(馬威爾病毒)經(jīng)常通過(guò)忽略robots協(xié)議的方式,獲取網(wǎng)站后臺(tái)數(shù)據(jù)和個(gè)人信息。 robots.txt文件是一個(gè)文本文件,使用任何一個(gè)常見(jiàn)的文本編輯器,比如Windows系統(tǒng)自帶的Notepad,就可以創(chuàng)建和編輯它。robots.txt是一個(gè)協(xié)議,而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 |
帝國(guó)CMS默認(rèn)robots.txt為
# # robots.txt for EmpireCMS #
User-agent: * *允許所有搜索引擎抓取 Disallow: /d/ *禁止所有搜索引擎抓取D目錄 |
版權(quán)聲明: 本站資源均來(lái)自互聯(lián)網(wǎng)或會(huì)員發(fā)布,如果侵犯了您的權(quán)益請(qǐng)與我們聯(lián)系,我們將在24小時(shí)內(nèi)刪除!謝謝!
轉(zhuǎn)載請(qǐng)注明: 帝國(guó)CMS-robots.txt文件使用教程