影響蜘蛛爬行并最終影響到頁面收錄結(jié)果主要有幾個(gè)方面的原因。

1．網(wǎng)站的更新情況

一般來說，網(wǎng)站更新很快，蜘蛛就會(huì)更快地抓取網(wǎng)站的內(nèi)容。如果網(wǎng)站的內(nèi)容很長(zhǎng)時(shí)間都沒有任何的更新，蜘蛛也會(huì)相應(yīng)調(diào)整對(duì)網(wǎng)站的爬行頻率。更新頻率對(duì)新聞等網(wǎng)站來說很關(guān)鍵。因此，保持每天一定的更新數(shù)量，對(duì)吸引蜘蛛是非常重要的。

2．網(wǎng)站內(nèi)容的質(zhì)量

對(duì)于低質(zhì)量的頁面，搜索引擎一直是打擊的，因此，創(chuàng)建高質(zhì)量的內(nèi)容，對(duì)于吸引蜘蛛是非常關(guān)鍵的，從這個(gè)角度來說，“內(nèi)容制勝”是完全正確的。如果網(wǎng)頁是低質(zhì)量的，比如大量采集相同內(nèi)容，頁面核心內(nèi)容空泛，就無法獲得蜘蛛的青睞。

3．網(wǎng)站是否可以正常訪問

網(wǎng)站是否可以正常訪問對(duì)搜索引擎來說就是連通度。連通度要求網(wǎng)站不能經(jīng)常訪問不了，或者訪問速度特別慢。從蜘蛛角度來看，希望能提供給檢索客戶的網(wǎng)頁都是可以正常訪問的頁面，對(duì)于服務(wù)器反應(yīng)速度慢或者經(jīng)常死機(jī)的服務(wù)器，相關(guān)網(wǎng)站肯定會(huì)有負(fù)面的印象，嚴(yán)重的就是逐漸減少爬行，甚至剔除已經(jīng)收錄的頁面。

在現(xiàn)實(shí)中，因?yàn)閲?guó)內(nèi)的服務(wù)器服務(wù)比較貴，另外，基于監(jiān)管的要求，國(guó)內(nèi)網(wǎng)站的建立需要有備案制度，需要經(jīng)歷網(wǎng)上上傳備案信息等流程，部分中小網(wǎng)站的站長(zhǎng)可能會(huì)租用國(guó)外的服務(wù)器服務(wù)，比如Godaddy(一家提供域名注冊(cè)和互聯(lián)網(wǎng)主機(jī)服務(wù)的美國(guó)公司)服務(wù)等。不過從國(guó)內(nèi)訪問國(guó)外服務(wù)器，距離較遠(yuǎn)的原因，訪問慢或者死機(jī)情況不可避免，從長(zhǎng)遠(yuǎn)來說，對(duì)網(wǎng)站的SEO效果是一個(gè)制約。如果要用心經(jīng)營(yíng)一個(gè)網(wǎng)站，還是盡量采用國(guó)內(nèi)的服務(wù)器服務(wù)，可以選擇一些服務(wù)比較好、界面比較友好的服務(wù)器供應(yīng)商，當(dāng)前多家公司推出的云服務(wù)器就是不錯(cuò)的選擇。

此外，搜索引擎會(huì)依據(jù)網(wǎng)站的綜合表現(xiàn)，對(duì)網(wǎng)站進(jìn)行評(píng)級(jí)，這個(gè)評(píng)級(jí)不能完全等同于權(quán)重，但是，評(píng)級(jí)的高低會(huì)影響到蜘蛛對(duì)網(wǎng)站的抓取策略。

在抓取頻次方面，搜索引擎一般都提供可以調(diào)整抓取頻次設(shè)置的工具，SEO人員可以依據(jù)實(shí)際情況進(jìn)行調(diào)整。對(duì)于服務(wù)請(qǐng)求比較多的大型網(wǎng)站，可以通過調(diào)整頻次的工具來減輕網(wǎng)站的壓力。

在實(shí)際抓取過程中，如果遇到無法訪問的抓取異常情況，會(huì)導(dǎo)致搜索引擎對(duì)網(wǎng)站的評(píng)級(jí)大大降低，相應(yīng)影響抓取、索引、排序等一系列SEO效果，最終反饋到流量的損失上。

抓取異常的原因有很多，比如服務(wù)器不穩(wěn)定，服務(wù)器一直超負(fù)荷運(yùn)行，或者協(xié)議出現(xiàn)了錯(cuò)誤。因此，需要網(wǎng)站運(yùn)維人員對(duì)網(wǎng)站的運(yùn)行進(jìn)行持續(xù)跟蹤，確保網(wǎng)站穩(wěn)定運(yùn)行。在協(xié)議配置上，需要避免一些低級(jí)的錯(cuò)誤，比如Robots的Disallow設(shè)置錯(cuò)誤。曾經(jīng)有一次，一個(gè)公司管理人咨詢SEO人員，問他們委托外部開發(fā)人員做好網(wǎng)站后，在搜索引擎怎么都無法搜索到，是什么原因。SEO人員直接在URL，地址欄輸入他的網(wǎng)站Robots地址，赫然發(fā)現(xiàn)里面禁止了(Disallow命令)蜘蛛的爬行!

關(guān)于網(wǎng)站無法訪問，還存在其他可能，比如網(wǎng)絡(luò)運(yùn)營(yíng)商異常，即蜘蛛無法通過電信或者網(wǎng)通等服務(wù)商訪問到網(wǎng)站；DNS異常，即蜘蛛無法正常解析網(wǎng)站IP，可能是地址錯(cuò)誤，也可能是域名商封禁，遇到這種情況需要和域名商聯(lián)系。還有的可能是網(wǎng)頁的死鏈，比如當(dāng)前頁面已經(jīng)失效或者出錯(cuò)等，可能部分網(wǎng)頁已經(jīng)批量下線，遇到這種情況，好的方法是提交死鏈說明；如果是uRL變更導(dǎo)致的舊的URL失效無法訪問，好設(shè)置301跳轉(zhuǎn)，把舊的URL和相關(guān)權(quán)重過渡到新的頁面來。當(dāng)然，也可能是搜索引擎本身負(fù)荷過大，臨時(shí)封禁。

針對(duì)已經(jīng)抓取回來的數(shù)據(jù)，接著就是蜘蛛進(jìn)行建庫(kù)的環(huán)節(jié)。在這個(gè)環(huán)節(jié)里，搜索引擎會(huì)依據(jù)一些原則對(duì)鏈接的重要性進(jìn)行判斷。一般來說，判斷的原則如下：內(nèi)容是否原創(chuàng)，如果是，會(huì)獲得加權(quán)；主體內(nèi)容是否是鮮明的，即核心內(nèi)容是否突出，如果是，會(huì)獲得加權(quán)；內(nèi)容是否豐富，如果內(nèi)容非常豐富，會(huì)獲得加權(quán)；用戶體驗(yàn)是否好，比如頁面比較流暢、廣告加載少等，如果是，會(huì)獲得加權(quán)等。

因此，我們?cè)诰W(wǎng)站日常運(yùn)營(yíng)過程中，需要堅(jiān)持如下幾個(gè)原則。

(1)不要抄襲。因?yàn)楠?dú)特的內(nèi)容是所有搜索引擎公司都喜歡的，互聯(lián)網(wǎng)鼓勵(lì)原創(chuàng)。很多互聯(lián)網(wǎng)公司希望通過大量采集網(wǎng)絡(luò)內(nèi)容來組織自己的網(wǎng)站，從SEO角度來說，其實(shí)是不可取的行為。

(2)在網(wǎng)站內(nèi)容設(shè)計(jì)的時(shí)候，要堅(jiān)持主題內(nèi)容突出，就是要讓搜索引擎爬過來就能知道網(wǎng)頁要表達(dá)的內(nèi)容是什么，而不是在一堆內(nèi)容里去判斷網(wǎng)站到底是做什么業(yè)務(wù)的。主題不突出，在很多經(jīng)營(yíng)混亂的網(wǎng)站中有典型案例，比如有的小說網(wǎng)站，800字的一章切分到8個(gè)頁面，每個(gè)頁面大概100字，頁面其余地方都是各種廣告、各種無關(guān)內(nèi)容信息。還有的網(wǎng)站，主體內(nèi)容是一個(gè)frame框架或者AIAX框架，蜘蛛能爬到的信息都是無關(guān)內(nèi)容。

(3)豐富的內(nèi)容，即內(nèi)容信息量大，內(nèi)容的展示模式多樣化。廣告適當(dāng)就是少嵌入廣告，不要打開網(wǎng)頁滿屏都是花花綠綠的廣告。因?yàn)閺V告加載時(shí)間計(jì)算在頁面整體加載時(shí)間內(nèi)，如果廣告加載時(shí)間過長(zhǎng)，導(dǎo)致頁面無法完全加載，就會(huì)造成頁面空而短。同時(shí)，針對(duì)大量廣告影響用戶體驗(yàn)方面，百度于2013年5月17日發(fā)布公告，宣稱針對(duì)低質(zhì)量網(wǎng)頁推出了‘‘石榴算法”，旨在打擊含有大量妨礙用戶正常瀏覽的惡劣廣告的頁面，尤其是彈出大量低質(zhì)廣告、存在混淆頁面主體內(nèi)容的垃圾廣告的頁面。目前部分大型門戶網(wǎng)站從營(yíng)收的角度考慮，還是懸掛大量的廣告，作為SEO人員，需要考慮這個(gè)問題。

(4)保持網(wǎng)頁內(nèi)容的可訪問性。有些網(wǎng)頁承載了很多的內(nèi)容，但是使用js、AJAX等方式進(jìn)行呈現(xiàn)，對(duì)搜索引擎來說是無法識(shí)別的，這樣就造成網(wǎng)頁內(nèi)容空而短．使網(wǎng)頁的評(píng)級(jí)大大下降。

此外，在鏈接的重要程度方面，還有兩個(gè)重要的判斷原則：從目錄層級(jí)來說，堅(jiān)持淺層優(yōu)先原則；從內(nèi)鏈設(shè)計(jì)來說，堅(jiān)持受歡迎頁面優(yōu)先原則。

所謂淺層優(yōu)先，即搜索引擎在處理新鏈接、判斷鏈接重要性的時(shí)候，會(huì)優(yōu)先考慮URL．更多的頁面，即從uRL組織上離首頁域名更近的頁面。因此，SEO在做重要頁面優(yōu)化的時(shí)候，一定要注意扁平化的原則，盡量縮短URL的中間環(huán)節(jié)。

既然淺層優(yōu)先，那么是否可以把所有的頁面平鋪到網(wǎng)站根目錄下，從而選到好的SEO效果?肯定不是，首先，優(yōu)先是一個(gè)相對(duì)的概念，如果把所有的內(nèi)容都放在根目錄下，就無所謂優(yōu)先了，重要的內(nèi)容和不重要的內(nèi)容沒有任何區(qū)分。另外，從SEO角度來說，URL抓取后還用來分析網(wǎng)站的結(jié)構(gòu)，通過URL的組成，大致判斷內(nèi)容的分組，SEO人員可以通過URL的組成來完成關(guān)鍵詞和關(guān)鍵詞網(wǎng)頁的組織。

目前在站內(nèi)的受歡迎程度主要從以下指標(biāo)反映出來。

?站內(nèi)導(dǎo)向該頁面的內(nèi)鏈數(shù)量。

?站內(nèi)通過自然瀏覽行為到達(dá)該頁面的PV。

?該頁面的點(diǎn)擊流失率。

因此，從SEO角度來說，如果你需要快速提高一個(gè)頁面的搜索排名，可以從受歡迎程度方面做一些工作，如下。

?多從其他頁面做導(dǎo)向該頁面的錨文本，特別是高PR頁面。

?給該頁面取一個(gè)吸引人的標(biāo)題，引導(dǎo)更多自然瀏覽用戶單擊鏈接到達(dá)該頁面。

?提高頁面的內(nèi)容質(zhì)量，降低頁面的流量率

網(wǎng)頁標(biāo)題：網(wǎng)站優(yōu)化影響頁面抓取的幾個(gè)重要原因
標(biāo)題來源：http://jinyejixie.com/news/215275.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、微信小程序、面包屑導(dǎo)航、ChatGPT、網(wǎng)站改版、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)