很多做網(wǎng)站SEO優(yōu)化的工程師，都會(huì)去分析網(wǎng)站日志文件，從而得到一些數(shù)據(jù)去調(diào)整優(yōu)化策略，但具體是如何分析的，通過什么工具或方法，絕大多數(shù)SEO工程師是不會(huì)告訴你的！

今天創(chuàng)新互聯(lián)小編就詳細(xì)為大家講解下，是如何具體去分析日志文件：

首先，我們需要知道分析日志文件的目的是什么？

通過分析網(wǎng)站日志Log文件我們可以看到用戶和搜索引擎蜘蛛訪問網(wǎng)站的行為數(shù)據(jù)，這些數(shù)據(jù)能讓我們分析出用戶和蜘蛛對(duì)網(wǎng)站的偏好以及網(wǎng)站的健康情況。在網(wǎng)站日志分析中，我們主要需要分析的是蜘蛛行為。

在蜘蛛爬取及收錄過程中，搜索引擎會(huì)給特定權(quán)重網(wǎng)站分配相應(yīng)的資源量。一個(gè)搜索引擎友好型的網(wǎng)站應(yīng)該充分利用這些資源，讓蜘蛛可以迅速、準(zhǔn)確、全面的爬取有價(jià)值、用戶喜歡的內(nèi)容，而不浪費(fèi)資源在無(wú)用的、訪問異常的內(nèi)容上。

一，日志文件如何獲得，以阿里云云主機(jī)為例

登錄你的阿里云云主機(jī)管理控制面板，可找到如下圖：

把日志文件下載到本地

二、下載專業(yè)的SEO日志文件分析工具

在這里給大家推薦：光年日志分析工具或web log exploer，今天以光年日志分析工具為例：點(diǎn)擊下載，安裝好工具之后，新建任務(wù)導(dǎo)入下載的日志文件，然后點(diǎn)擊執(zhí)行，如下圖：

三、分析日志文件

真正的干貨在這里--網(wǎng)站日志數(shù)據(jù)分析解讀：

1、訪問次數(shù)、停留時(shí)間、抓取量

從這三項(xiàng)數(shù)據(jù)中我們可以得知：平均每次抓取頁(yè)面數(shù)、單頁(yè)抓取停留時(shí)間和平均每次停留時(shí)間。

平均每次抓取頁(yè)面數(shù)=總抓取量/訪問次數(shù)

單頁(yè)抓取停留=每次停留/每次抓取

平均每次停留時(shí)間=總停留時(shí)間/訪問次數(shù)

從這些數(shù)據(jù)我們可以看出蜘蛛的活躍程度、親和程度、抓取深度等，總訪問次數(shù)、停留時(shí)間、抓取量越高、平均抓取頁(yè)面、平均停留時(shí)間，表明網(wǎng)站越受搜索引擎喜歡。而單頁(yè)抓取停留時(shí)間表明網(wǎng)站頁(yè)面訪問速度，時(shí)間越長(zhǎng)，表明網(wǎng)站訪問速度越慢，對(duì)搜索引擎抓取收錄較不利，我們應(yīng)盡量提高網(wǎng)頁(yè)加載速度，減少單而立停留時(shí)間，讓爬蟲資源更多的去抓取收錄。

另外，根據(jù)這些數(shù)據(jù)我們還可以統(tǒng)計(jì)出一段時(shí)間內(nèi)，網(wǎng)站的整體趨勢(shì)表現(xiàn)，如：蜘蛛訪問次數(shù)趨勢(shì)、停留時(shí)間趨勢(shì)、抓取趨勢(shì)。

通過日志分析我們可以看到網(wǎng)站哪些目錄受蜘蛛喜歡、抓取目錄深度、重要頁(yè)面目錄抓取狀況、無(wú)效頁(yè)面目錄抓取狀況等。通過對(duì)比目錄下頁(yè)面抓取及收錄情況，我們可以發(fā)現(xiàn)更多問題。對(duì)于重要目錄，我們需要通過內(nèi)外調(diào)整增加權(quán)重及爬??；對(duì)于無(wú)效頁(yè)面，在robots.txt中進(jìn)行屏蔽。

另外，通過多日日志統(tǒng)計(jì)，我們可以看到站內(nèi)外行為給目錄帶來(lái)的效果，優(yōu)化是否合理，是否達(dá)到了預(yù)期效果。對(duì)于同一目錄，以長(zhǎng)期時(shí)間段來(lái)看，我們可以看到該目錄下頁(yè)面表現(xiàn)，根據(jù)行為推測(cè)表現(xiàn)的原因等。

3、頁(yè)面抓取

在網(wǎng)站日志分析中，我們可以看到具體被蜘蛛爬取的頁(yè)面。在這些頁(yè)面中，我們可以分析出蜘蛛爬取了哪些需要被禁止爬取的頁(yè)面、爬取了哪些無(wú)收錄價(jià)值頁(yè)面、爬取了哪些重復(fù)頁(yè)面url等，為充分利用蜘蛛資源我們需要將這些地址在robots.txt中禁止爬取。

另外，我們還可以分析未收錄頁(yè)面原因，對(duì)于新文章，是因?yàn)闆]有被爬取到而未收錄抑或爬取了但未放出。對(duì)于某些閱讀意義不大的頁(yè)面，可能我們需要它作為爬取通道，對(duì)于這些頁(yè)面，我們是否應(yīng)該做Noindex標(biāo)簽等。但從另一方面講，蜘蛛會(huì)弱智到靠這些無(wú)意義的通道頁(yè)爬取頁(yè)面嗎，蜘蛛不懂sitemap？【對(duì)此，筆者有疑惑，求分享經(jīng)驗(yàn)】

4、蜘蛛訪問IP

曾經(jīng)有人提出過通過蜘蛛的ip段來(lái)判斷網(wǎng)站的降權(quán)情況，笨鳥感覺這個(gè)意義不大，因?yàn)檫@個(gè)后知性太強(qiáng)了。而且降權(quán)更多應(yīng)該從前三項(xiàng)數(shù)據(jù)來(lái)判斷，用單單一個(gè)ip段來(lái)判斷意義不大。IP分析的更多用途應(yīng)該是判斷是否存在采集蜘蛛、假蜘蛛、惡意點(diǎn)擊蜘蛛等。

5、訪問狀態(tài)碼

蜘蛛經(jīng)常出現(xiàn)的狀態(tài)碼如301、404等，出現(xiàn)這些狀態(tài)碼要及時(shí)處理，以避免對(duì)網(wǎng)站造成壞的影響。

6、抓取時(shí)間段

通過分析對(duì)比多個(gè)單日蜘蛛小時(shí)爬取量，我們可以了解到特定蜘蛛對(duì)于本網(wǎng)站在特定時(shí)間的活躍時(shí)段。通過對(duì)比周數(shù)據(jù)，我們可以看到特定蜘蛛在一周中的活躍周期。了解這個(gè)，對(duì)于網(wǎng)站內(nèi)容更新時(shí)間有一定指導(dǎo)意義，而之前所謂小三大四等均為不科學(xué)說法。

7、蜘蛛爬取路徑

在網(wǎng)站日志中我們可以跟蹤到特定IP的訪問路徑，如果我們跟蹤特定蜘蛛的訪問路徑則能發(fā)現(xiàn)對(duì)于本網(wǎng)站結(jié)構(gòu)下蜘蛛的爬取路徑偏好。由此，我們可以適當(dāng)?shù)囊龑?dǎo)蜘蛛的爬取路徑，讓蜘蛛更多的爬取重要、有價(jià)值、新更新頁(yè)面。其中爬取路徑中我們雙可以分析頁(yè)面物理結(jié)構(gòu)路徑偏好以及url邏輯結(jié)構(gòu)爬取偏好。通過這些，可以讓我們從搜索引擎的視角去審視自己的網(wǎng)站。

本文名稱：網(wǎng)站SEO優(yōu)化必備技能：網(wǎng)站日志文件分析
文章轉(zhuǎn)載：http://jinyejixie.com/news37/325387.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站營(yíng)銷、外貿(mào)建站、ChatGPT、Google、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)