網站優(yōu)化之頁面抓取過程分析
2021-10-01 分類： 網站建設
收錄是指網頁被搜索引擎抓取到，然后放到搜索引擎的庫里，等到人們搜索相關詞匯的時候，可以在搜索結果頁展示列表看到已經收錄的頁面及頁面信息。我們所說的“網頁被收錄”即能在搜索結果頁看到相關的頁面。反之，“網頁沒有被收錄”問題就復雜一些，因為在搜索結果頁沒有看到對應的頁面，并不意味著網頁就沒在搜索引擎的庫里，或者說就沒有被收錄，有可能是網頁針對當前的搜索詞匯排名不好，在760個記錄之外，因此沒有得到展示。
收錄涉及網頁被搜索引擎蜘蛛抓取，然后被編入搜索引擎的索引庫，并在前端被用戶搜索到這一系列的過程。對SEO人員或者希望對自己網站進行優(yōu)化的非專業(yè)SEO人員來說，了解頁面是如何被搜索引擎收錄的，了解搜索引擎的收錄原理，都是極有好處的，能幫助你在進行網站SEO的時候盡量遵循收錄的規(guī)律，提高網站被收錄的比例。
搜索引擎在抓取網頁的時候，可能會遇到各種情況，有的頁面抓取成功，有的抓取失敗。怎么顯示一個頁面的實際抓取結果呢主要是通過返回碼進行示意，代表抓取成功與否和遇到的問題。比如我們常見的，有時候打開一個頁面，頁面一片空白，上面只顯示404。這里的404就是一種返回碼，代表當前抓取的頁面已經失效，遇到顯示404的頁面，如果短期內搜索，蜘蛛再發(fā)現(xiàn)這個URL，也不會對其進行抓取。
有時候，會返回503，503返回碼代表網站臨時無法訪問，可能是網站服務器關閉或者其他臨時措施造成的網頁無法訪問，一般來說，蜘蛛還會繼續(xù)抓取幾次。如果網站恢復正常，URL仍然被當作正常URI。處理，如果服務器一直處于不可訪問狀態(tài)，那么搜索引擎就會將這些URL徹底從庫中刪除，這就要求我們必須維護網站的穩(wěn)定性，盡量避免臨時關閉的情況發(fā)生。返回碼403是禁止訪問狀態(tài)，一般來說，如同503一樣，如被多次訪問仍處于禁止訪問狀態(tài)，就會被搜索引擎從庫里面刪除。
在返回碼中，有一類需要格外注意，就是301。301代表永久性移除，當前URL被永久性重定向到另外的uRL。一般來說，因為改版等原因，部分URL需要永久被替換為新URL，就必須使用返回碼301進行處理，這樣能把權重等一并帶過去，避免網站的流量損失。
返回碼301的優(yōu)化寫法如下。
(1)創(chuàng)建一個htaccess.txt文件。
(2)在htaccess．txt里寫好返回碼30l的跳轉信息。
假設舊的URL為abc.com，需要重定向到www.abc.com，需在文件里寫如下信息。
RewriteEngine on
RewriteCond％{http_host}abc.com[NC]
RewriteRule^(．*)$ http://www.abc.com/$1[L，R=301]
(3)將htaccess.txt上傳到FTP，然后將htaccess.txt修改為.htaccess。
需要提醒的是目前htaccess只適用于Linux系統(tǒng)，并需要虛擬主機支持，因此，在考慮htaccess文件處理返回碼301的時候，需要查看虛擬主機是否完全支持。
實際上，在重定向的處理上存在多種方式，簡單來說，重定向可以分為http30x重定向、meta refresh重定向和js重定向。另外，大的搜索引擎公司，比如谷歌和百度都確認支持Canonical標簽，可以通過制定一個權威頁面的方式，引導蜘蛛只索引一個權威頁面，從實際效果上來說，也是一種間接的重定向。在實際抓取過程中，蜘蛛會對各種重定向效果進行識別。
重定向的方法有多種，但是從SEO角度來說，如果是永久跳轉的頁面，盡量在采用返回碼301的跳轉方式。另外，從
時間結果來看，百度對Canonical的支持并不如谷歌好，采用Canonical未必能得到如期效果。有些網站通過不同的路徑進入同
一頁面，可能會出現(xiàn)多個URL的情況，當面對這種情況時，可能需要一些處理技巧，關于Canonical的使用技術可參見本書關于Canonical的專門講解。
外鏈等因素對搜索的排名是有影響的，那么在抓取環(huán)節(jié)是否也有影響呢百度在它的抓取政策上有優(yōu)先級的說明，即執(zhí)行包括“深度優(yōu)先遍歷策略、寬度優(yōu)先遍歷策略、PR優(yōu)先策略、反鏈策略、社會化分享指導策略等”。同時，這也說明每個策略各有優(yōu)劣，在實際情況中往往是多種策略結合使用才能達到最優(yōu)的抓取效果。從這段官方說明里面可以看到PR優(yōu)先策略、反鏈策略、社會化分享等字眼，我們可以認為，百度在實際抓取的時候，其實都考慮了這些因素，只是權重可能有所不同，因此，盡量提高網頁PR，增加更高質量的外鏈，進行高質量的社會化分享，對網站的SEO工作是有積極意義的。
另外，針對互聯(lián)網存在的大量“盜版”“采集”的網頁情況，在抓取的過程中，蜘蛛會通過技術判斷頁面是否已經被抓取過，并對URI．不同但是實際內容相同的頁面的URL進行歸一化處理，即視作一個URL，。也就是告訴SEO人員，不要通過大量創(chuàng)建頁面的方式來獲得更多的搜索資源，如果頁面很多，但是每個頁面的內容重復性很高，或者僅是uRL中包含無效參數(shù)來實現(xiàn)多個頁面，搜索引擎仍然把這些URI。當作一個uRL處理，即網站頁面不是越多越好，通過功利的方式拼湊網頁，大量部署長尾，但是頁面質量堪憂，效果會適得其反。如果大量此類頁面被搜索引擎判斷為低質量頁面，可能會影響到整站的SEO效果。
蜘蛛在抓取的過程實際是依據鏈接不斷往下探索的過程，如果鏈接之間出現(xiàn)短路，蜘蛛就無法往前爬了。在真實的網站運營中，我們可以看到很多網頁實際潛藏在網站后端，蜘蛛是無法抓取到的，比如沒有預留入口鏈接，或者入口鏈接已經失效等，這些無法抓取到的內容和信息，對于蜘蛛來說就是一個個的孤島，對SEO人員來說就是沒有完全發(fā)揮內容的引流作用。同時，因為網絡環(huán)境或者網站規(guī)范等原因也可能導致蜘蛛無法爬行。
如何解決信息無法被抓取到的問題幾個可行的辦法如下。
?采用搜索引擎平臺提供的開發(fā)平臺等數(shù)據上傳通道，可以針對數(shù)據進行獨立的提交。
?采用Sitemap提交方式。大型網站或者結構比較特殊的網站，沉淀了大量的歷史頁面，這些歷史頁面很多具有SEO的價值，但是蜘蛛無法通過正常的爬行抓取到，針對這些頁面，建立Sitemap文件并提交給百度等搜索引擎是非常必要的。
蜘蛛在爬行網站的時候，會遵循網站的協(xié)議進行抓取，比如哪些網頁可以給搜索引擎抓取，哪些不允許搜索引擎抓取。常見的協(xié)議有HTTP協(xié)議、HTTPS協(xié)議、Robots協(xié)議等。
HTTP協(xié)議規(guī)范了客戶端和服務器端請求和應答的標準?？蛻舳艘话闶侵附K端用戶，服務器端指網站。終端用戶通過瀏覽器、蜘蛛等向服務器指定端口發(fā)送HTTP請求。發(fā)送HTTP請求會返回對應的HTTP Header信息，我們可以看到包括是否成功、服務器類型、網頁最近更新時間等內容。HTTPS協(xié)議是一種加密協(xié)議，一般用戶安全數(shù)據的傳輸。HTTPS是在HTTP下增加了SSL層，這類頁面應用比較多的是和支付相關或者內部保密信息相關的網頁。蜘蛛不會自動爬行該類網頁。因此，從SEO角度考慮，在建站的時候，盡量對頁面的性質進行區(qū)分，對非保密頁面進行HTTP處理，才能實現(xiàn)網頁的抓取和收錄。
新聞標題：網站優(yōu)化之頁面抓取過程分析
標題網址：http://jinyejixie.com/news/129281.html
成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站導航、小程序開發(fā)、云服務器、網站維護、網站設計、服務器托管
聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容
- 行業(yè)動態(tài)圖形的簡約性 2021-10-01
- 新聞動態(tài)有效性 2021-10-01
- 怎樣選擇域名的5個步驟 2021-10-01
- 網站優(yōu)化：SEO從業(yè)者不得不知的蜘蛛陷阱 2021-10-01
- 網站關鍵詞如何選擇 2021-10-01
- 設計好網站之后我們該怎么縮短網站的審核期呢？ 2021-10-01
- 酒店SEO優(yōu)化要怎么做才越來越好 2021-10-01
- 網站結構主題 2021-10-01
- 網站一直沒有排名的原因有哪些 2021-10-01
- 【SEO名詞解釋】XML網站地圖(XMLSiteMap) 2021-10-01
- seo推廣需要注意應用哪些方法 2021-10-01
- SEO生命周期，別做死了都不知道 2021-10-01
- 網站優(yōu)化要知道這些關鍵點 2021-10-01
- seo優(yōu)化的誤區(qū)兩大分析 2021-10-01
- 網站打開速度太慢怎么辦 2021-10-01
- 網絡時效性的弊端 2021-10-01
- 分享整站優(yōu)化項目在操作過程中的心得體會 2021-10-01
- 網站長期不維護和網站經常內容維護的區(qū)別 2021-10-01
- 目前階段SEO優(yōu)化推廣需要怎么進行呢 2021-10-01