本篇內(nèi)容主要講解“如何解決網(wǎng)站存在抓取的錯(cuò)誤”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“如何解決網(wǎng)站存在抓取的錯(cuò)誤”吧!

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：申請(qǐng)域名、網(wǎng)頁(yè)空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、宣恩網(wǎng)站維護(hù)、網(wǎng)站推廣。

不抓取如何會(huì)收錄，又怎么有排名?然而就這樣一個(gè)明顯的問(wèn)題，卻有大量的網(wǎng)站將其忽略掉。在A5這里做SEO診斷服務(wù)的客戶中，其中“20%”的網(wǎng)站都會(huì)存在抓取錯(cuò)誤，直接嚴(yán)重影響到網(wǎng)站的成長(zhǎng)效果。今天這篇文章，如果你有幸看到，希望可以閱讀完今天這篇文章，并分享出去，因?yàn)檎娴臅?huì)很有價(jià)值。

賀貴江：曾經(jīng)診斷過(guò)一個(gè)千萬(wàn)級(jí)別收錄的站點(diǎn)，但是索引總是被反復(fù)的剔除，又反復(fù)的收錄，企業(yè)一直找不到問(wèn)題?？墒钱?dāng)我們對(duì)網(wǎng)站檢查之初就發(fā)現(xiàn)一個(gè)怪的現(xiàn)象了：

1、錯(cuò)誤的封禁

在百度的robots.txt的更新上，如果多次點(diǎn)擊“檢測(cè)并更新”就會(huì)出現(xiàn)時(shí)?？梢愿?，但是又時(shí)常無(wú)法更新的問(wèn)題。如此一來(lái)：不應(yīng)當(dāng)被收錄的東西，在robots.txt上禁止的被收錄了，又刪除就很正常了。那么它的問(wèn)題是什么呢?并非服務(wù)器負(fù)載過(guò)度，而是因?yàn)榉阑饓﹀e(cuò)誤的將部分Baiduspider列入了黑名單。

上面這個(gè)例子是robots.txt方面的抓取錯(cuò)誤，作為站長(zhǎng)最少應(yīng)該每周都檢查更新一下robots.txt是否可以正常更新。之后我們?cè)倏聪隆绊?yè)面抓取”方面的錯(cuò)誤：

2、服務(wù)器異常

常規(guī)的服務(wù)器就不說(shuō)啦，大家都知道的，北上廣的一般都不錯(cuò)。不過(guò)有一些特殊服務(wù)器，想必絕大多數(shù)的站長(zhǎng)都不知道吧?例如西部數(shù)碼的“港臺(tái)服務(wù)器”就很有趣，真的是港臺(tái)的嗎?本身機(jī)房在國(guó)內(nèi)，還算什么港臺(tái)?為了逃避備案而用一個(gè)港臺(tái)的IP，數(shù)據(jù)全部在國(guó)內(nèi)。

這樣有什么不好呢?我們會(huì)發(fā)現(xiàn)：站點(diǎn)的服務(wù)器是經(jīng)過(guò)CDN的，哪怕是你上傳的一張圖片，都會(huì)顯示為“302狀態(tài)碼”，訪問(wèn)速度是提升上去了，可是這樣利于SEO嗎?呵呵噠。真不知道西數(shù)做為國(guó)內(nèi)大型idc服務(wù)商是如何想的，利用那些無(wú)知嗎?

3、獲取不到真實(shí)IP

規(guī)模較大的網(wǎng)站，一般都會(huì)使用CDN加速，但是有些站點(diǎn)不僅僅對(duì)“設(shè)備”使用了CDN加速，而且還對(duì)Spider使用了加速功能。最后的結(jié)果是什么呢?如果CDN節(jié)點(diǎn)不穩(wěn)定，那么對(duì)網(wǎng)站spider來(lái)講，這個(gè)問(wèn)題將是致命的。

很多大型站點(diǎn)開(kāi)放CDN的原因就是容易被攻擊，這個(gè)時(shí)候如果不做“蜘蛛回源”就可想而知了。你的站點(diǎn)做了CDN了嗎?請(qǐng)登錄百度站長(zhǎng)平臺(tái)查看一下spider是否可以抓取真實(shí)IP地址吧!

4、頻繁的50X類錯(cuò)誤

這樣的鏈接其中一個(gè)共同的特點(diǎn)是：當(dāng)打開(kāi)后，全部都是正常的，那么Spider為什么會(huì)報(bào)錯(cuò)提醒呢?只是因?yàn)樵谂老x(chóng)發(fā)起抓取的那一刻，httpcode返回了5XX"，你的站點(diǎn)是否頻繁有這樣的問(wèn)題呢?有的話需要立即安排技術(shù)，或者通報(bào)IDC服務(wù)商做解決了!

5、錯(cuò)誤的抓取比例

任何網(wǎng)站都做不到100%不出問(wèn)題，但是萬(wàn)事有一個(gè)度：我們認(rèn)為，這個(gè)比例不超過(guò)5%，對(duì)網(wǎng)站基本上是無(wú)影響的，且這樣的錯(cuò)誤不應(yīng)當(dāng)每天都出現(xiàn)。最常見(jiàn)的抓取錯(cuò)誤一般都是連接超時(shí)："抓取請(qǐng)求連接建立后，下載頁(yè)面速度過(guò)慢，導(dǎo)致超時(shí)，可能原因服務(wù)器過(guò)載，帶寬不足"這種情況：

A：盡量在不影響圖片質(zhì)量的情況下，對(duì)圖片進(jìn)行壓縮，上傳的時(shí)候就進(jìn)行了壓縮。

B：減少如JS腳本文件類型的使用，或者進(jìn)行合并

C：頁(yè)面大小進(jìn)行控制，尤其是一些瀏覽量、抓取量較高的頁(yè)面，不建議超過(guò)2MB。

D：增加網(wǎng)站的帶寬，提升下載速度，或者更換服務(wù)器。

到此，相信大家對(duì)“如何解決網(wǎng)站存在抓取的錯(cuò)誤”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)建站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

標(biāo)題名稱：如何解決網(wǎng)站存在抓取的錯(cuò)誤-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址：http://jinyejixie.com/article8/ddejip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、搜索引擎優(yōu)化、App設(shè)計(jì)、網(wǎng)站營(yíng)銷(xiāo)、定制開(kāi)發(fā)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)