對于網(wǎng)站的優(yōu)化，我們站長一定要做到讓搜索引擎蜘蛛多多抓取我們網(wǎng)站的內(nèi)容，才能更好的做好網(wǎng)站的優(yōu)化。這個(gè)時(shí)候我們就要去了解搜索引擎蜘蛛的算法，然后再來考慮下事先可能會存在的問題。

例如：搜索引擎蜘蛛是否實(shí)現(xiàn)邏輯上的全站抓取、搜索引擎蜘蛛是否可以區(qū)分頁面重要性、搜索引擎蜘蛛是否可以提取頁面的關(guān)鍵詞。

一、邏輯上全站爬行

網(wǎng)站結(jié)構(gòu)優(yōu)化：網(wǎng)站物理結(jié)構(gòu)，即基于內(nèi)容聚合的目錄及文件位置決定的結(jié)構(gòu)。目前的主流思維就是網(wǎng)站扁平化設(shè)計(jì)，即平行結(jié)構(gòu)。

鏈接結(jié)構(gòu)優(yōu)化：兩種蜘蛛抓取不到的頁面：網(wǎng)站本身不希望被收錄的頁面;沒有鏈接到達(dá)的頁面，即孤島頁面。對于沒有被首頁推薦的頁面，可以再內(nèi)鏈上補(bǔ)充。合理的內(nèi)鏈就是一個(gè)四通八達(dá)、井然有序的交通系統(tǒng)，蜘蛛就是來往的車輛。社會化、描文本、設(shè)置鏈接入口等。

Domain結(jié)構(gòu)優(yōu)化：主要是二級域名和二級目錄的選擇策略。沒有絕對的好與不好，就科易網(wǎng)小編來說目前公司網(wǎng)站正在有二級域名網(wǎng)站結(jié)構(gòu)向二級目錄轉(zhuǎn)變，只是采取適應(yīng)當(dāng)前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據(jù)自身特點(diǎn)選擇合理的domain策略。

二、重要性的主導(dǎo)

對于搜索引擎來說，什么樣頁面會被認(rèn)為“更重要”?有這么一句話：每個(gè)鏈接都是一個(gè)投票，意思是：頁面的所有鏈接都是投票。在搜索引擎看來：獲得更多內(nèi)部投票的網(wǎng)頁相對來說更加重要。

三、網(wǎng)頁的標(biāo)簽：關(guān)鍵詞

搜索引擎在分析頁面的內(nèi)容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標(biāo)簽、alt標(biāo)簽;后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁面的“標(biāo)簽”，即抓取的時(shí)頁面的定義的關(guān)鍵詞。