網(wǎng)站的收錄是由空間、網(wǎng)站、內(nèi)容、抓取量、頁面質(zhì)量決定的。
搜索引擎蜘蛛爬行的過程是這樣的，首先檢測網(wǎng)站的Robots.txt文件，確定哪些內(nèi)容禁止抓取，哪些內(nèi)容允許抓取等信息，確定robots.txt允許爬取之后，進入我們網(wǎng)站的首頁，然后通過首頁的鏈接爬取到我們網(wǎng)站中的內(nèi)容頁或者欄目頁，之后再通過欄目頁到達我們的文章頁。
既然已經(jīng)知道了搜索引擎抓取我們網(wǎng)站的流程，那么我們接下來就要為您分析影響搜索引擎抓取的因素了，首先：

1、網(wǎng)站速度的影響
機房問題、dns問題、cdn加速問題、服務(wù)器帶寬、服務(wù)器硬件、操作系統(tǒng)、服務(wù)器軟件以及服務(wù)器所安裝的程序，這些都有可能影響我們網(wǎng)站的打開的速度。
2、nofollow標簽的合理使用
nofollow是一個HTML標簽的屬性值。這個標簽的意義是告訴搜索引擎”不要追蹤此網(wǎng)頁上的鏈接”或”不要追蹤此特定鏈接。那么我們所要做的就是，用nofollow來屏蔽掉網(wǎng)站頁面重復(fù)出現(xiàn)的鏈接以及對SEO沒有很高價值的頁面，以減少網(wǎng)站權(quán)重的分散，并且可以減少搜索引擎重復(fù)抓取網(wǎng)站內(nèi)每個頁面的重復(fù)鏈接，以提高搜索引擎抓取效率。
3、網(wǎng)站硬盤問題
如在服務(wù)器里面安裝多個虛擬機，導(dǎo)致硬盤轉(zhuǎn)速變慢，有時會導(dǎo)致搜索引擎打不開網(wǎng)站。
4、返回碼問題
比如同一個鏈接返回不同的返回碼，又或者404頁面返回200等
5、安全軟件問題
比如開啟了防火墻規(guī)則、屏蔽了網(wǎng)站端口、開啟防采集規(guī)則、開啟防攻擊規(guī)則等，導(dǎo)致了搜索引擎同一時間由于大量訪問網(wǎng)站，而導(dǎo)致被安全軟件攔截。

分享名稱：深圳網(wǎng)站的頁面總是重復(fù)收錄是什么原因？
網(wǎng)站鏈接：http://jinyejixie.com/news1/150751.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、建站公司、軟件開發(fā)、關(guān)鍵詞優(yōu)化、App設(shè)計、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)