URL鏈接對(duì)網(wǎng)站有多重要？就好比人身體的無(wú)數(shù)血管一樣，稍有不暢，就會(huì)帶來(lái)各種各樣的問(wèn)題，URL優(yōu)化的效果跟站點(diǎn)在百度的權(quán)重關(guān)聯(lián)性不大，但是對(duì)收錄、蜘蛛爬行和傳遞權(quán)重有明顯的提升。我雖然不常發(fā)貼但是經(jīng)常觀察到大部分SEO的提問(wèn)都是收錄怎么怎么不好，權(quán)重怎么怎么不高，我也觀看過(guò)很多站點(diǎn)，很多基礎(chǔ)的工作完全都處于迷糊的狀態(tài)。試想換一種思路，站長(zhǎng)變成spider來(lái)爬行你的站，我相信大部分站長(zhǎng)自己都跑不通。這里成都SEO外包公司只給出url優(yōu)化的幾個(gè)重要點(diǎn)。
URL一致性
URL 一致性是一個(gè)非常重要的指標(biāo)，推薦大家一本書(shū)《走進(jìn)搜索引擎》里面有介紹spider是一種機(jī)器程序，而非人腦，雖然也有學(xué)習(xí)的過(guò)程，但是國(guó)內(nèi)網(wǎng)站千千萬(wàn)，每個(gè)網(wǎng)站有不同的url規(guī)范，你如果url命名規(guī)則雜亂無(wú)章spider又怎能高效的辨別你的內(nèi)容規(guī)范？ 這里舉個(gè)個(gè)人覺(jué)得做的比較好的case：“下載吧”。讀者可以去翻閱下載吧的網(wǎng)站。他的主體結(jié)構(gòu)為：首頁(yè)=>列表頁(yè)=>內(nèi)容頁(yè) 。這里因地制宜，只是舉例可能并不適合你的站點(diǎn)。
偏權(quán)重
偏權(quán)重可能是我自己創(chuàng)造的一個(gè)首發(fā)詞，大神們勿噴。通過(guò)我多年的分析發(fā)現(xiàn)，每個(gè)站點(diǎn)的流量是有集中點(diǎn)的。這個(gè)從愛(ài)站的工具里面大家可以看出來(lái)，這里拿我一個(gè)客戶和朋友的網(wǎng)站給大家做做案例。同一個(gè)網(wǎng)站 90%的流量都出自于某個(gè)目錄，在這里面內(nèi)容類型內(nèi)容質(zhì)量都是一樣的。相信大家在自己作站過(guò)程中也有所體會(huì)，百度會(huì)偏向給權(quán)重到某個(gè)目錄?？紤]到這個(gè)問(wèn)題，url一致性和目錄規(guī)劃就更重要了。
爬行原理
蜘蛛爬行原理有 深度優(yōu)先和寬度優(yōu)先這里分開(kāi)說(shuō)一下：
(1)深度優(yōu)先：深度優(yōu)先適用于一些大站，蜘蛛很渴望得到他的內(nèi)容，比如新浪網(wǎng)易他們的目錄很長(zhǎng)，也能收錄。假如我們給蜘蛛一個(gè)線程只能爬取一個(gè)頁(yè)面，爬行軌跡：首頁(yè)-封面頁(yè)-頻道頁(yè)-內(nèi)容頁(yè)，那么你網(wǎng)站的結(jié)構(gòu)是：首頁(yè)=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛會(huì)沿著你的深度爬行進(jìn)去，但是無(wú)論多大的站，你的深度也必須有限，否則蜘蛛不可能無(wú)窮盡的挖掘進(jìn)去，爬累了自然就會(huì)離開(kāi)。并且內(nèi)容也沒(méi)帶回去。

(2)寬度優(yōu)先：這個(gè)是我非常推崇的，而且我所有新站都是這種效果。我自己建了5天的站蜘蛛爬行800次。效果說(shuō)明在扁平化的今天，寬度優(yōu)先是可以讓蜘蛛非常高效的爬行和返回的。url結(jié)構(gòu) xxx/a/ xxx/b/ xxx/c/ 這類的叫寬度優(yōu)化，爬行軌跡 ：首頁(yè)-頻道頁(yè)A-頻道頁(yè)B-頻道頁(yè)C/首頁(yè)-頻道頁(yè)A-內(nèi)容頁(yè)A1-內(nèi)容頁(yè)A2-內(nèi)容頁(yè)A*

綜上所述。其實(shí)可以看出：寬度優(yōu)先的效率明顯高于深度優(yōu)先。而且蜘蛛的任務(wù)類別也單一，非常容易識(shí)別。同一線程爬取的幾乎是同一類型頁(yè)面，頁(yè)面樣式，外觀相同。蜘蛛不必花時(shí)間過(guò)于的去分析你的頁(yè)面內(nèi)結(jié)構(gòu)，層次清晰。
爬蟲(chóng)黑洞
這個(gè)問(wèn)題不是什么新問(wèn)題了。百度也有做專門的闡述，因?yàn)橐恍﹗rl處理不當(dāng)產(chǎn)生的動(dòng)態(tài)參數(shù)后綴，或是刻意圈住蜘蛛所做的無(wú)限循環(huán)，這種的效果明顯是弊大于利。對(duì)URL的規(guī)劃上，一定要想辦法盡可能地處理掉無(wú)限動(dòng)態(tài)參數(shù)后綴，并且也要合理的給蜘蛛出口，這才是真正有利于SEO 的做法，關(guān)于處理爬蟲(chóng)黑洞的辦法這里我不做多講解。創(chuàng)建具有良好描述性、規(guī)范、簡(jiǎn)單的url，有利于用戶更方便的記憶和判斷網(wǎng)頁(yè)的內(nèi)容，也有利于搜索引擎更有效的抓取您的網(wǎng)站。網(wǎng)站設(shè)計(jì)之初，就應(yīng)該有合理的url規(guī)劃。