1、查看搜索引擎蜘蛛的抓取概要分析，了解各個搜索引擎蜘蛛的訪問次數(shù)，總停留時間，總抓取量和所占比例，下面是朋友網(wǎng)站的概要分析(利用光年日志分析工具查看結果)，其中可以很清楚的看出，百度蜘蛛對于網(wǎng)站的抓取量還是不錯的，有292詞，訪問次數(shù)有126次，總停留時間8.873小時，所占所有蜘蛛比例的41.011%。
網(wǎng)站LOG日志概要分析有的朋友可能會產(chǎn)生疑惑，既然百度蜘蛛總停留時間這么長，單次停留時間也不低(pS：蜘蛛單次停留時間=總停留時間/訪問次數(shù)=0.0704小時/次=4.225分鐘)，那么為什么網(wǎng)站的收錄卻跟不上呢?帶著這樣的疑問，下面再分析下百度蜘蛛對于其他頁面的抓取。
2、查看百度蜘蛛對于網(wǎng)站目錄抓取的情況，從下面的抓取圖中可以很清楚的看出百度蜘蛛對于home，product目錄的抓取還是比較多的，對于網(wǎng)站內部另外一個重要的目錄news抓取卻不多，而這個目錄就是網(wǎng)站每日更新做的比較多的工作目錄。蜘蛛還抓取了一些后臺文件目錄如upload，files，img等。
網(wǎng)站目錄抓取情況從上面的分析可以看出百度蜘蛛對于網(wǎng)頁內部的抓取是不合理的，問題主要是：1、網(wǎng)站內部結構對于news欄目抓取力度不足;2、home目錄作為社區(qū)，product目錄作為產(chǎn)品中心，分散了網(wǎng)站蜘蛛抓取的資源;3、網(wǎng)站對于一些不必要抓取的目錄沒有很好地限制。解決問題就需要從這三個方面入手。
1、引導蜘蛛更多的抓取news目錄下面的網(wǎng)頁，如針對更新的頁面創(chuàng)造更多的鏈接入口，其中包括站內的互相鏈接導入，站外的外鏈發(fā)布等。
2、查看網(wǎng)站的社區(qū)基本上已經(jīng)沒有更新，可以考慮先將home目錄屏蔽掉，讓權重和蜘蛛更多的導入進news欄目。product目錄是一個比較重要的目錄，但是更多的應該引導其抓取沒有收錄的或者新的產(chǎn)品。查看網(wǎng)站產(chǎn)品頁面，發(fā)現(xiàn)對于相關產(chǎn)品推薦力度不夠，可以在這一塊進行改進。
3、運用robots文件或者nofollow標簽，對于網(wǎng)站不重要的目錄或者頁面，以及后臺的一些文件進行限制。
另外，還有一點思考，百度蜘蛛停留時間比較多，但是抓取量不算特別多，還需要查看百度蜘蛛抓取頁面返回的狀態(tài)碼200，304和404所占比例。如果304比較多，那么是否考慮將這些蜘蛛資源進行合理的分配到未抓取的頁面。如果404頁面比較多，那就要考慮蜘蛛是不是被帶進一些陷阱里面，檢查網(wǎng)站內部造成404狀態(tài)碼的頁面，并加以改正。

本文標題：網(wǎng)站收錄和快照不及時怎么辦
分享路徑：http://jinyejixie.com/news47/293297.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設、移動網(wǎng)站建設、微信公眾號、動態(tài)網(wǎng)站、域名注冊、網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)