成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

網(wǎng)站用robots文件禁止抓取還會被索引收錄嗎

2023-04-11    分類: 網(wǎng)站建設(shè)

SEO的一些基礎(chǔ)上的東西總是容易被人忽略,比方說robots文件。之前的文章有多次提到過這份文件的重要性,網(wǎng)站優(yōu)化診斷的其中一項就是檢查有無做這份文件,是否規(guī)范。之前的文章有提到過這么一句:如果網(wǎng)站的robots協(xié)議文件禁止了搜索引擎蜘蛛,那么無論你怎么優(yōu)化都不會被收錄。


趁著寫這篇文章,給這句話做個糾正,請大家認(rèn)真閱讀并且理解。如下:


如果你的網(wǎng)站添加了robots協(xié)議文件,并且設(shè)置了禁止搜索引擎蜘蛛的指令,那么你的網(wǎng)站內(nèi)容將不會被抓取,但有可能會被收錄(索引)。


有些人可能會有疑問,搜索引擎蜘蛛爬行url頁面,頁面需要有內(nèi)容呈現(xiàn)出來反饋給到蜘蛛,才有可能會被收錄。那么,如果內(nèi)容都被禁止了還會被收錄嗎?這是什么意思呢?這個問題這里先不解釋,大家先看看下面的圖片吧。

網(wǎng)站用robots文件禁止抓取還會被索引收錄嗎

如圖所示,以上是site淘寶域名出現(xiàn)被收錄的結(jié)果。從site結(jié)果里面可以清楚的看到,這里收錄了很多淘寶網(wǎng)站的頁面,顯示收錄結(jié)果為2億6159萬個頁面。但是大家不知道有沒有發(fā)現(xiàn)一個問題,這些頁面抓取的描述內(nèi)容都是提示了這樣一段文字:由于該網(wǎng)站的robots.txt文件存在限制指令(限制搜索引擎抓?。到y(tǒng)無法提供該頁面的內(nèi)容描述。


robots禁止搜索引擎蜘蛛后為什么會被收錄呢?


這里有個認(rèn)知上的錯誤,也可能是慣性邏輯思維的錯誤思考。大家都認(rèn)為蜘蛛不能抓取內(nèi)容就不會收錄,實際上爬行、抓取、索引(收錄)是不同的概念。很多人學(xué)習(xí)SEO的時候,經(jīng)常性的對一些SEO的概念混肴不清,導(dǎo)致在后面的SEO優(yōu)化過程當(dāng)中并不能發(fā)揮出很好的效果。


還是先來說說robots協(xié)議到底是在做什么?既然是協(xié)議,那肯定是雙方同意、認(rèn)可的規(guī)矩。這個甲乙自然就是網(wǎng)站和搜索引擎(或者說搜索引擎蜘蛛)之間的協(xié)議。robots文件會放在根目錄下,蜘蛛進(jìn)入網(wǎng)站會第一時間訪問這個文件,然后看看協(xié)議里面有沒有禁止了那些頁面不能抓取,如果禁止了就不會再去抓取。


一個頁面想要去搜索引擎索引(收錄),收錄要有蜘蛛爬行和抓取,既然不抓取,理所當(dāng)然的就會被認(rèn)為這個頁面是不會被收錄。這樣的思維是錯誤的,不抓取也是可以被索引(收錄)。如淘寶就是一個典型的案例,網(wǎng)站添加了禁止協(xié)議,最后還是被收錄。原因在于,百度從其它渠道平臺推薦的外部鏈接了解到這個網(wǎng)站,雖然被禁止抓取,但從標(biāo)題和推薦鏈接的數(shù)據(jù)里還是可以判斷出與該頁面相應(yīng)的內(nèi)容信息。


網(wǎng)站標(biāo)題:網(wǎng)站用robots文件禁止抓取還會被索引收錄嗎
地址分享:http://jinyejixie.com/news27/253177.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供靜態(tài)網(wǎng)站、商城網(wǎng)站外貿(mào)建站、品牌網(wǎng)站設(shè)計、虛擬主機、網(wǎng)站設(shè)計

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站優(yōu)化排名
秀山| 凌海市| 新化县| 嘉荫县| 仪陇县| 汤原县| 嘉定区| 中江县| 乐山市| 华池县| 札达县| 乐山市| 中山市| 衡南县| 尉氏县| 阿拉善左旗| 丹巴县| 光山县| 孝义市| 邻水| 密云县| 凭祥市| 濉溪县| 山东| 前郭尔| 全州县| 新竹市| 全椒县| 防城港市| 中西区| 邹城市| 出国| 临西县| 武川县| 吐鲁番市| 增城市| 大关县| 宿松县| 建宁县| 江西省| 新干县|