爬蟲陷阱產(chǎn)生的主要原因是網(wǎng)站建設(shè)初期設(shè)計(jì)不合理，出現(xiàn)了一些常見的爬蟲陷阱。一旦網(wǎng)站上出現(xiàn)爬蟲陷阱，對(duì)搜索引擎不友好，也不利于爬蟲爬行和爬行。那么，我們應(yīng)該從哪些方面檢查網(wǎng)站以及如何避免爬蟲陷阱呢?以下是一些細(xì)節(jié)：

1、 框架結(jié)構(gòu)

我只能說，如果你還在你的網(wǎng)站上使用框架結(jié)構(gòu)，那么我建議你盡快取消它。雖然框架結(jié)構(gòu)對(duì)網(wǎng)站的維護(hù)和更新有一定的方便性。但是，這不利于搜索引擎爬蟲爬行。這也是目前框架結(jié)構(gòu)不流行的原因之一。

2、 閃光燈

一些站長(zhǎng)為了使網(wǎng)站的視覺效果精彩，他們把網(wǎng)站作為一個(gè)整體進(jìn)行了塊的flash。但他們不知道這也造成了一個(gè)爬蟲陷阱。因?yàn)樗阉饕媾老x只抓取HTML代碼，只是flash文件的鏈接，而沒有文本內(nèi)容。不管你看起來多漂亮，可惜的是搜索引擎看不到它，它不能索引任何文本信息，也不能判斷它的相關(guān)性。因此，我們應(yīng)該盡量避免或減少flash的使用。

3、 JavaScript鏈接

因?yàn)镴S有很多吸引人眼球的驚人效果，很多站長(zhǎng)用JavaScript腳本做一些導(dǎo)航。事實(shí)上，JavaScript也是更嚴(yán)重的爬蟲陷阱之一。

當(dāng)然，有些搜索引擎可以在JavaScript上獲取鏈接，甚至可以執(zhí)行腳本并跟蹤鏈接。但是，對(duì)于一些權(quán)重較低的網(wǎng)站，沒有必要浪費(fèi)時(shí)間。更新一些高質(zhì)量的文章，多做外鏈。

4、 會(huì)話ID

如果我們的網(wǎng)站使用sessionid來跟蹤用戶的訪問量，就會(huì)出現(xiàn)這種現(xiàn)象。會(huì)出現(xiàn)什么樣的現(xiàn)象?每次搜索引擎訪問我們的頁(yè)面時(shí)，都會(huì)出現(xiàn)一個(gè)不同的sessionid。即使訪問同一個(gè)頁(yè)面，也會(huì)有不同的ID，但是內(nèi)容是一樣的，這就形成了大量重復(fù)內(nèi)容形成了爬蟲陷阱，也不利于網(wǎng)站的優(yōu)化。因此，我們通常建議您使用cookies而不是生成會(huì)話id。

5、 動(dòng)態(tài)URL

所謂動(dòng)態(tài)URL是指帶有問號(hào)、等號(hào)和一些參數(shù)的URL。一般來說，動(dòng)態(tài)URL不利于爬蟲爬行，我們應(yīng)該避免。

6、 各種各樣的跳躍

搜索引擎對(duì)跳轉(zhuǎn)比較敏感。不如：301跳轉(zhuǎn)、302跳轉(zhuǎn)、JavaScript跳轉(zhuǎn)、flash跳轉(zhuǎn)、metarefresh跳轉(zhuǎn)等。

如果你必須跳轉(zhuǎn)，搜索引擎仍然建議使用301轉(zhuǎn)。其他跳轉(zhuǎn)方式對(duì)搜索引擎不好，因?yàn)橐恍┖诿弊覵EO經(jīng)常用來欺騙搜索引擎和用戶。所以除非必要，否則不要使用其他跳躍動(dòng)作。

7、 要求登錄

他不會(huì)填寫用戶名、密碼、驗(yàn)證碼。那你的內(nèi)容就不會(huì)被他發(fā)現(xiàn)了。

8、 強(qiáng)制使用Cookie

有些網(wǎng)站只想記住用戶的登錄信息、跟蹤訪問路徑等，并強(qiáng)迫他們使用cookies。如果Internet用戶的瀏覽器未啟用cookies，則此頁(yè)面將無法正常顯示。簡(jiǎn)而言之，強(qiáng)制使用cookies只會(huì)導(dǎo)致搜索引擎爬蟲無法正確訪問它們。

網(wǎng)頁(yè)題目：如何避免SEO網(wǎng)站優(yōu)化中的爬蟲陷阱?
文章分享：http://jinyejixie.com/news/87906.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、網(wǎng)站內(nèi)鏈、電子商務(wù)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站改版、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)