通過分析網(wǎng)站日志Log文件我們可以看到用戶和搜索引擎蜘蛛訪問網(wǎng)站的行為數(shù)據(jù)，這些數(shù)據(jù)能讓我們分析出用戶和蜘蛛對網(wǎng)站的偏好以及網(wǎng)站的健康情況。在網(wǎng)站日志分析中，我們主要需要分析的是蜘蛛行為。

在蜘蛛爬取及收錄過程中，搜索引擎會(huì)給特定權(quán)重網(wǎng)站分配相應(yīng)的資源量。一個(gè)搜索引擎友好型的網(wǎng)站應(yīng)該充分利用這些資源，讓蜘蛛可以迅速、準(zhǔn)確、全面的爬取有價(jià)值、用戶喜歡的內(nèi)容，而不浪費(fèi)資源在無用的、訪問異常的內(nèi)容上。

但由于網(wǎng)站日志中數(shù)據(jù)量過大，所以我們一般需要借助網(wǎng)站日志分析工具來查看。常用的日志分析工具有：光年日志分析工具、web log exploer。

在分析日志時(shí)，對于單日日志文件我們需要分析的內(nèi)容有：訪問次數(shù)、停留時(shí)間、抓取量、目錄抓取統(tǒng)計(jì)、頁面抓取統(tǒng)計(jì)、蜘蛛訪問IP、HTTP狀態(tài)碼、蜘蛛活躍時(shí)段、蜘蛛爬取路徑等；對于多日日志文件我們需要分析的內(nèi)容有：蜘蛛訪問次數(shù)趨勢、停留時(shí)間趨勢、整體抓取趨勢、各目錄抓取趨勢、抓取時(shí)間段、蜘蛛活躍周期等。

下面我們來看看網(wǎng)站日志如何分析？

網(wǎng)站日志數(shù)據(jù)分析解讀：

1、訪問次數(shù)、停留時(shí)間、抓取量

從這三項(xiàng)數(shù)據(jù)中我們可以得知：平均每次抓取頁面數(shù)、單頁抓取停留時(shí)間和平均每次停留時(shí)間。

平均每次抓取頁面數(shù)=總抓取量/訪問次數(shù)

單頁抓取停留=每次停留/每次抓取

平均每次停留時(shí)間=總停留時(shí)間/訪問次數(shù)

從這些數(shù)據(jù)我們可以看出蜘蛛的活躍程度、親和程度、抓取深度等，總訪問次數(shù)、停留時(shí)間、抓取量越高、平均抓取頁面、平均停留時(shí)間，表明網(wǎng)站越受搜索引擎喜歡。而單頁抓取停留時(shí)間表明網(wǎng)站頁面訪問速度，時(shí)間越長，表明網(wǎng)站訪問速度越慢，對搜索引擎抓取收錄較不利，我們應(yīng)盡量提高網(wǎng)頁加載速度，減少單而立停留時(shí)間，讓爬蟲資源更多的去抓取收錄。

另外，根據(jù)這些數(shù)據(jù)我們還可以統(tǒng)計(jì)出一段時(shí)間內(nèi)，網(wǎng)站的整體趨勢表現(xiàn)，如：蜘蛛訪問次數(shù)趨勢、停留時(shí)間趨勢、抓取趨勢。

2、目錄抓取統(tǒng)計(jì)

通過日志分析我們可以看到網(wǎng)站哪些目錄受蜘蛛喜歡、抓取目錄深度、重要頁面目錄抓取狀況、無效頁面目錄抓取狀況等。通過對比目錄下頁面抓取及收錄情況，我們可以發(fā)現(xiàn)更多問題。對于重要目錄，我們需要通過內(nèi)外調(diào)整增加權(quán)重及爬?。粚τ跓o效頁面，在robots.txt中進(jìn)行屏蔽。

另外，通過多日日志統(tǒng)計(jì)，我們可以看到站內(nèi)外行為給目錄帶來的效果，優(yōu)化是否合理，是否達(dá)到了預(yù)期效果。對于同一目錄，以長期時(shí)間段來看，我們可以看到該目錄下頁面表現(xiàn)，根據(jù)行為推測表現(xiàn)的原因等。

3、頁面抓取

在網(wǎng)站日志分析中，我們可以看到具體被蜘蛛爬取的頁面。在這些頁面中，我們可以分析出蜘蛛爬取了哪些需要被禁止爬取的頁面、爬取了哪些無收錄價(jià)值頁面、爬取了哪些重復(fù)頁面url等，為充分利用蜘蛛資源我們需要將這些地址在robots.txt中禁止爬取。

另外，我們還可以分析未收錄頁面原因，對于新文章，是因?yàn)闆]有被爬取到而未收錄抑或爬取了但未放出。對于某些閱讀意義不大的頁面，可能我們需要它作為爬取通道，對于這些頁面，我們是否應(yīng)該做Noindex標(biāo)簽等。但從另一方面講，蜘蛛會(huì)弱智到靠這些無意義的通道頁爬取頁面嗎，蜘蛛不懂sitemap？【對此，筆者有疑惑，求分享經(jīng)驗(yàn)】

4、蜘蛛訪問IP

曾經(jīng)有人提出過通過蜘蛛的ip段來判斷網(wǎng)站的降權(quán)情況，笨鳥感覺這個(gè)意義不大，因?yàn)檫@個(gè)后知性太強(qiáng)了。而且降權(quán)更多應(yīng)該從前三項(xiàng)數(shù)據(jù)來判斷，用單單一個(gè)ip段來判斷意義不大。IP分析的更多用途應(yīng)該是判斷是否存在采集蜘蛛、假蜘蛛、惡意點(diǎn)擊蜘蛛等。

5、訪問狀態(tài)碼

蜘蛛經(jīng)常出現(xiàn)的狀態(tài)碼如301、404等，出現(xiàn)這些狀態(tài)碼要及時(shí)處理，以避免對網(wǎng)站造成壞的影響。

6、抓取時(shí)間段

通過分析對比多個(gè)單日蜘蛛小時(shí)爬取量，我們可以了解到特定蜘蛛對于本網(wǎng)站在特定時(shí)間的活躍時(shí)段。通過對比周數(shù)據(jù)，我們可以看到特定蜘蛛在一周中的活躍周期。了解這個(gè)，對于網(wǎng)站內(nèi)容更新時(shí)間有一定指導(dǎo)意義，而之前所謂小三大四等均為不科學(xué)說法。

7、蜘蛛爬取路徑

在網(wǎng)站日志中我們可以跟蹤到特定IP的訪問路徑，如果我們跟蹤特定蜘蛛的訪問路徑則能發(fā)現(xiàn)對于本網(wǎng)站結(jié)構(gòu)下蜘蛛的爬取路徑偏好。由此，我們可以適當(dāng)?shù)囊龑?dǎo)蜘蛛的爬取路徑，讓蜘蛛更多的爬取重要、有價(jià)值、新更新頁面。其中爬取路徑中我們雙可以分析頁面物理結(jié)構(gòu)路徑偏好以及url邏輯結(jié)構(gòu)爬取偏好。通過這些，可以讓我們從搜索引擎的視角去審視自己的網(wǎng)站。

本文來自成都品牌網(wǎng)站建設(shè)網(wǎng)站設(shè)計(jì)公司-創(chuàng)新互聯(lián)

本文題目：分析網(wǎng)站日志文件精華版
網(wǎng)站URL：http://jinyejixie.com/news13/309663.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、ChatGPT、品牌網(wǎng)站制作、營銷型網(wǎng)站建設(shè)、虛擬主機(jī)、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)