搜索引擎蜘蛛是搜索引擎自身的一個(gè)程序，它的作用是對網(wǎng)站的網(wǎng)頁進(jìn)行訪問，抓取網(wǎng)頁的文字、圖片等信息，建立一個(gè)數(shù)據(jù)庫，反饋給搜索引擎，當(dāng)用戶搜索的時(shí)候，搜索引擎會把收集到的信息過濾，通過復(fù)雜的排序算法將它認(rèn)為對用戶很有用的信息呈現(xiàn)出來。深入分析網(wǎng)站的SEO表現(xiàn)的時(shí)候，一般我們會考慮搜索引擎蜘蛛的抓取質(zhì)量，而其中能夠幫我們優(yōu)化網(wǎng)站可能會涉及到下面的幾個(gè)蜘蛛抓取相關(guān)的概念：
1.爬取率：既定時(shí)間內(nèi)網(wǎng)站被蜘蛛獲取的頁面數(shù)量。
2.爬取頻率：搜索引擎多久對網(wǎng)站或單個(gè)網(wǎng)頁發(fā)起一次新的爬行。
3.爬取深度：一個(gè)蜘蛛從開始位置可以點(diǎn)擊到多深。
4.爬取飽和度：頁面被獲取的數(shù)量。
5.爬取優(yōu)先：那些頁面很常作為蜘蛛的入口。
6.爬取冗余度：網(wǎng)站一般被多少蜘蛛同時(shí)爬取。
7.爬取mapping：蜘蛛爬取路徑還原。
這幾個(gè)概念也是我們可以用來做數(shù)據(jù)分析的幾個(gè)方面，那么如何將他們運(yùn)用到SEO當(dāng)中去呢？下面我簡單地談一談自己的一些具體的想法。

1、分析爬取率驗(yàn)證模糊經(jīng)驗(yàn)理論
分析搜索引擎蜘蛛首先會考慮的一個(gè)參數(shù)是爬取量，一般我們考慮蜘蛛爬取量的單位是以為一個(gè)時(shí)間段，那么我們很多時(shí)候考慮的是時(shí)間內(nèi)的爬取率。當(dāng)然，妳也可以根據(jù)自己的需要調(diào)整時(shí)間段的限定，如劃分到每個(gè)小時(shí)，來充分了解各個(gè)時(shí)間段的蜘蛛的抓取情況，然后針對性的做一些調(diào)整。其中我覺得一類分析可以給我們帶來很多的成感，即對于一些模糊經(jīng)驗(yàn)理論的驗(yàn)證。
例如我們經(jīng)常聽到這樣一句話：“做網(wǎng)站內(nèi)容的時(shí)候要定時(shí)定量的更新，培養(yǎng)搜索引擎蜘蛛的抓取習(xí)慣，隨意的改變更新時(shí)間，可能影響蜘蛛對網(wǎng)站內(nèi)容的抓取”，這句話到底正確不正確呢？這里可以運(yùn)用網(wǎng)站的日志進(jìn)行分析搜索引擎蜘蛛的抓取率來解釋。具體的操作方法是對一個(gè)月內(nèi)每天每個(gè)小時(shí)段的蜘蛛抓取情況進(jìn)行拆分統(tǒng)計(jì)（注意數(shù)據(jù)樣本選取的合理性），然后對每個(gè)時(shí)間段進(jìn)行分析，對比可以發(fā)現(xiàn)哪個(gè)時(shí)間段搜索引擎蜘蛛來的比較勤，再和自己做內(nèi)容更新的情況進(jìn)行一個(gè)對比可以很快的得出結(jié)論。
2、提高爬取頻率提高提升收錄
搜索引擎蜘蛛的爬取頻率很多時(shí)候是由網(wǎng)站內(nèi)容質(zhì)量決定的，因?yàn)橹挥芯W(wǎng)站有更新鮮更好的內(nèi)容，才能更吸引蜘蛛來反復(fù)抓取，例如很多大型的內(nèi)容型網(wǎng)站，每天更新大量的內(nèi)容，這樣把蜘蛛一直留在了站內(nèi)，頁面抓取的頻率自然會提高。而提升了爬取頻率，對于頁面中內(nèi)容和鏈接的更新會被搜索引擎蜘蛛更快的抓取到，能夠更充分的收錄網(wǎng)站的頁面內(nèi)容信息。
很多朋友都說自己的網(wǎng)站快照不更新，或者滯后好幾天，個(gè)人覺得也是蜘蛛抓取的頻率不夠造成的。要想快照更新快，特別是新站，前期一定要多做內(nèi)容建設(shè)，內(nèi)容頁面如果沒有內(nèi)容的更新，一般蜘蛛可能不會抓取收錄，或者抓取了但是不返回?cái)?shù)據(jù)，當(dāng)下次用戶搜索時(shí)候可能會調(diào)用搜索引擎數(shù)據(jù)庫中存儲的一些數(shù)據(jù)。
3、研究蜘蛛爬取習(xí)慣并優(yōu)化習(xí)慣
至于后面談到搜索引擎蜘蛛的爬取深度，飽和度，優(yōu)先爬取，冗余度以及爬取路徑都是對于蜘蛛爬取習(xí)慣和爬取策略的研究，因?yàn)樽约阂矝]有針對性的去實(shí)踐分析，所以只能在理論上談?wù)勛约旱囊恍┫敕ā?br/>

搜索引擎蜘蛛的爬取深度如果不夠深，主要是因?yàn)榫W(wǎng)站在結(jié)構(gòu)布局的時(shí)候沒有考慮到這蜘蛛是否能夠充分抓取或者是否按照一層一層的抓取，這里涉及到鏈接入口的布局，也會考慮到蜘蛛爬取優(yōu)先的一些入口，很多時(shí)候?qū)σ恍┐蟮木W(wǎng)站做診斷，來提升其流量和收錄主要的策略布局是優(yōu)化蜘蛛抓取優(yōu)先的入口，實(shí)現(xiàn)的方法是采用nofollow標(biāo)簽屏蔽一些頁面。還需要分析的可能是爬取的飽和度，因?yàn)閷τ趩蝹€(gè)頁面的爬取太多是在浪費(fèi)蜘蛛資源，我們?nèi)绻軌蜻m當(dāng)?shù)目刂七@些資源的分配，那么對于頁面的抓取和收錄的提升肯定有很大的幫助。

文章題目：深入剖析搜索引擎蜘蛛工作對SEO的提升
文章URL：http://jinyejixie.com/news/113333.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、靜態(tài)網(wǎng)站、云服務(wù)器、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)公司、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)