問:robots屏蔽對阻止百度抓取死鏈是否有效
答:當然有效,百度嚴格遵守robots協(xié)議,若發(fā)現(xiàn)百度依然抓取,先確認是否為Baiduspider,若確認,可以通過反饋中心進行投訴。
問:已被百度抓取的死鏈,可以通過robots屏蔽的方式讓百度刪除嗎?
答:不建議你這樣做,最快最有效的方法是通過百度站長平臺死鏈提交工具進行處理
問:我已經(jīng)通過死鏈工具進行提交了,可是通過日志發(fā)現(xiàn)百度還是在抓我們的死鏈
答:您提交規(guī)則后,spider為了驗證鏈接是否真的死掉,需要抓一部分回來驗證。
問:百度對死鏈的抓取,對正常文章抓取的影響會有多大。
答:這個沒有統(tǒng)一的標準,如果你沒有設置robots也沒有向百度提交,死鏈量還特別巨大的時候,有可能會占用你網(wǎng)站大量抓取配額,導致正常內(nèi)容無法抓取。如果僅僅是spider為了驗證死鏈規(guī)則抓一部分,那么對正常內(nèi)容不會造成影響。
問:百度對死鏈的要求是什么?怎么設置死鏈效果最好?
答:目前百度支持協(xié)議死鏈、內(nèi)容死鏈和跳轉(zhuǎn)死鏈,其中最效果最好的是協(xié)議死鏈。
問:百度站長平臺是否有工具幫助我們發(fā)現(xiàn)網(wǎng)站內(nèi)的未知死鏈?
答:可以通過鏈接分析工具中的死鏈分析功能,還有抓取異常工具進行發(fā)現(xiàn)分析
版權(quán)聲明: 本站資源均來自互聯(lián)網(wǎng)或會員發(fā)布,如果侵犯了您的權(quán)益請與我們聯(lián)系,我們將在24小時內(nèi)刪除!謝謝!
轉(zhuǎn)載請注明: 百度站長工具刪除站點死鏈問題總結(jié)