網(wǎng)站哪些設置會影響蜘蛛抓取呢?

  登錄設置   
  有些網(wǎng)站會設置注冊賬號的服務，登錄之后才能看到網(wǎng)站的內(nèi)容，這種設置對于蜘蛛來說不友好，蜘蛛它也不會注冊登錄，自然就抓取不到了。   
  動態(tài)URL   
  所謂動態(tài)URL就是在鏈接中“?”同時以aspx、asp、jsp、perl、php、cgi為后綴的url，便是動態(tài)URL，動態(tài)URL的變動性較大，不如靜態(tài)URL穩(wěn)定，搜索引擎一般對動態(tài)URL不夠信任，從而使很多動態(tài)URL的網(wǎng)頁不能被收錄。   
  使用Cookies   
  Cookies的作用是識別用戶的身份，Cookies如果未開啟，則無法進行訪問，這樣會導致蜘蛛無法訪問，從而影響抓取。   
  網(wǎng)站跳轉   
  有些網(wǎng)站打開之后就會自動跳轉到其他的頁面，跳轉會增加網(wǎng)站加載的時間，不推薦大家這樣做，只做301跳轉就可以了，301跳轉可以進行權重的集中，其他類型的調(diào)整不建議做。   
  Flash文件   
  有些網(wǎng)站設計一些Flash文件，為瀏覽用戶帶來很好的視覺效果，但可惜搜索引擎看不到，無法讀取任何內(nèi)容所以為了能體現(xiàn)網(wǎng)站優(yōu)化的最好效果，不提倡這種Flash做首頁圖片。