一：如果有雙頁面，那么優(yōu)先屏蔽動態(tài)頁面

一般而言，網(wǎng)站的靜態(tài)頁面是很容易被搜索引擎收錄，通常蜘蛛抓取和收錄是兩回事，網(wǎng)站除了靜態(tài)頁面之外，大部分網(wǎng)站還存在著動態(tài)的頁面，比如“www.XXXX/1.html與www.xxxxx/asp?id=1這兩個指的是同一個頁面，如果不進行屏蔽的話，勢必造成兩個頁面同時被蜘蛛抓取，可是到了搜索引擎算法判斷的時候，因為發(fā)現(xiàn)了兩個一樣的頁面，就會認為你網(wǎng)站存在作弊的嫌疑，所以加大對你網(wǎng)站的考察力度，從而影響到網(wǎng)站的排名，所以正確的做法是優(yōu)先屏蔽網(wǎng)站的動態(tài)頁面！

二：涉及網(wǎng)站安全隱私的內(nèi)容要屏蔽

本文的開頭提到了ADMIN和DATA目錄實際上是有關(guān)網(wǎng)站安全隱私的內(nèi)容，暴露給蜘蛛是沒有絲毫好處的，甚至還可能會多一份被攻擊的渠道，所以涉及到有關(guān)安全的目錄，比如數(shù)據(jù)庫目錄，網(wǎng)站日志目錄以及備份目錄都需要進行屏蔽，另外有些站長在網(wǎng)站備份后，再進行下載，可是下載過后有不注意對備份文件的刪除，這也是很容易導(dǎo)致蜘蛛重復(fù)抓取，也容易導(dǎo)致被黑客攻擊，所以利用ROBOTS.TXT文件來屏蔽類似”RAR和ZIP”文件也是非常有必要的！最起碼能夠增強網(wǎng)站的安全性！

三：圖片和模板目錄都可以進行屏蔽

因為目前很多站長都是在互聯(lián)網(wǎng)上找相同的圖片和套用現(xiàn)成的模板，這些模板和圖片已經(jīng)在互聯(lián)網(wǎng)泛濫了，此時你還讓你的網(wǎng)站被蜘蛛再次爬行這些老掉牙的東西，自然會讓蜘蛛非常的反感，從而讓你的網(wǎng)站貼上模仿作弊的標簽，想要獲得搜索引擎的青睞反而是更加困難，所以IMAGES目錄通?？梢云帘危?/p>

四：緩存目錄可以屏蔽，防止重復(fù)索引

蜘蛛是非常貪婪的，只要你給他喂食，它是不管真實還是虛幻都照單全收，比如網(wǎng)站的緩存目錄里面的內(nèi)容，蜘蛛也會照樣來進行索引，這勢必和網(wǎng)站里面的內(nèi)容出現(xiàn)了重復(fù)，如果出現(xiàn)重復(fù)的數(shù)量過多，那么百度的算法機制就會認為你的網(wǎng)站在作弊，從而甚至提升你網(wǎng)站的權(quán)重，給網(wǎng)站帶來極大的影響，通常每種建站程序的緩存目錄是不一樣的，要根據(jù)不同的建站程序來屏蔽相應(yīng)的緩存目錄是很有必要的！

五：CSS目錄及部分RSS頁需要屏蔽

CSS目錄對于蜘蛛而言是完全無用的，抓取后反而會影響搜索引擎算法的判斷，所以可以通過ROBOTS.TXT文件來進行屏蔽，另外很多建站程序的RSS頁也是一種內(nèi)容的重復(fù)，抓取后也會造成搜索引擎的誤判斷，這兩個方面的內(nèi)容都需要屏蔽！這種屏蔽看起來是對蜘蛛的大不敬，實際上卻如良藥苦口利于??！忠言逆耳利于行！

網(wǎng)頁名稱：SEO實戰(zhàn)篇:網(wǎng)站優(yōu)化幾種屏蔽蜘蛛的技巧
分享網(wǎng)址：http://jinyejixie.com/news25/172275.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、靜態(tài)網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)站設(shè)計公司、用戶體驗、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)