在我們優(yōu)化的過程中，有一些網(wǎng)站設(shè)計技術(shù)對搜索引擎來說是很不友好，不利于蜘蛛爬行和抓取，這些技術(shù)被稱為蜘蛛陷阱。下面給大家介紹以下幾種常見的蜘蛛陷阱，大家在工作中一定要全力避免。  

一、flash  

1、在網(wǎng)頁的某一小部分使用flash增強視覺效果是很正常的，比如用flash做成的廣告、圖標等。這種小flash和圖片是一樣的，只是html代碼中的很小一部分，頁面上還有其他以文字為主的內(nèi)容，所以對搜索引擎抓取和收錄沒有影響。  

2、但是有的網(wǎng)站整個首頁就是一個大的flash文件，這就構(gòu)成了蜘蛛陷阱。搜索引擎抓取的html代碼只有一個連向flash文件的鏈接，沒有其他文字內(nèi)容。搜索引擎是無法讀取flsh文件中的文字和鏈接的。  

3、整個網(wǎng)站就是一個大的flash文件，從seo的角度來說是萬萬不可的。如果flash是必須要加，建議在首頁加上一個通往html版本的鏈接。這個鏈接應(yīng)該是在flash文件之外的html代碼中，搜索引擎跟蹤這個鏈接可以抓取后面的html版本頁面。  

二、各種跳轉(zhuǎn)  

1、除了后面會介紹的301轉(zhuǎn)向以外，搜索引擎對其他形式的跳轉(zhuǎn)都比較敏感，如:302，js，等跳轉(zhuǎn)。  

2、有些網(wǎng)站用戶訪問首頁時會被自動轉(zhuǎn)向到某個目錄下的頁面。如果是按用戶地理位置轉(zhuǎn)向至最適合的目錄，那倒情有可原。但大部分這種首頁轉(zhuǎn)向看不出任何理由和目的，這樣的轉(zhuǎn)向能避免則避免。  

3、如果必須轉(zhuǎn)向，301轉(zhuǎn)向是搜索推薦的、用戶網(wǎng)址更改的轉(zhuǎn)向，可以把頁面權(quán)重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他轉(zhuǎn)向方式是都對蜘蛛爬行不利的。  

三、框架結(jié)構(gòu)  

1、如果作為站長的你不知道什么是框架結(jié)構(gòu)，那么恭喜你，你已經(jīng)避免了這個蜘蛛陷阱，根本沒必要知道什么是框架結(jié)構(gòu)。如果你在網(wǎng)站設(shè)計中還在使用框架結(jié)構(gòu)，我的建議是取消。  

2、使用框架結(jié)構(gòu)設(shè)計頁面，在網(wǎng)站誕生初期曾經(jīng)挺流行的，因為對網(wǎng)站的頁面更新維護有一定方便性。不過現(xiàn)在的網(wǎng)站已經(jīng)很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一，對搜索引擎來說，訪問一個使用框架的網(wǎng)址所抓取的html文件只包含調(diào)用其他html文件的代碼，并不包含文字信息，搜索引擎根本無法判斷這個網(wǎng)址的內(nèi)容是什么。  

四、動態(tài)url  

動態(tài)url指的是數(shù)據(jù)庫驅(qū)動的網(wǎng)站所生成的、帶有問號、等號及參數(shù)的網(wǎng)址。一般來說動態(tài)url不利于搜索引擎蜘蛛爬行，應(yīng)該盡量避免。  

五、js鏈接  

由于js可以創(chuàng)造出很多吸引人的視覺效果，有些網(wǎng)站喜歡使用js腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴重的蜘蛛陷阱之一  

六、要求登錄  

有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到的會員區(qū)域，這部分內(nèi)容搜索引擎無法看到。蜘蛛不能填寫用戶名、密碼，也不會注冊。  

七、強制使用cookies  

有些網(wǎng)站為了實現(xiàn)某種功能，如記住用戶登錄信息、跟蹤用戶訪問路徑等，強制用戶使用cookies，用戶瀏覽器如果沒有啟用cookies，頁面顯示不正常。搜索引擎蜘蛛就相當于一個禁用cookies的瀏覽器，強制使用cookies只能造成搜索引擎蜘蛛無法正常訪問。