成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

robots文件的意義及對(duì)網(wǎng)站優(yōu)化作用

2016-11-13    分類: 網(wǎng)站建設(shè)

【SEO優(yōu)化推廣】robots.txt是放在一個(gè)網(wǎng)站根目錄之下的一個(gè)文件,并不是給用戶看的,而是為了讓搜索引擎看的。robots的意思可以翻譯為搜索引擎機(jī)器人,也就是搜索引擎派出去爬取網(wǎng)站頁(yè)面的蜘蛛,而robots文件就是蜘蛛爬取網(wǎng)站時(shí)需要經(jīng)歷的一道們,通過robots文件可以明確自己的訪問權(quán)限。形象的解釋可以看做是限制某一些蜘蛛進(jìn)入網(wǎng)站,以及限制進(jìn)入了網(wǎng)站的蜘蛛訪問網(wǎng)站內(nèi)容權(quán)限。
Robots文件并不是一個(gè)像W3C那樣指定網(wǎng)絡(luò)規(guī)范協(xié)議,而是眾多搜索引擎約定俗成的。下圖顯示的是我們網(wǎng)站的robots文件內(nèi)容。一行的User-agent: *的意思是以下的Disallow命令是針對(duì)所有的搜索引擎的,也可以改為針對(duì)某一單獨(dú)的搜索引擎。Disallow后的內(nèi)容則是不允許搜索引擎爬取收錄的內(nèi)容。

雖然知道了robots文件的意義是什么,但是robots文件對(duì)于網(wǎng)站seo優(yōu)化都有什么用呢?robots文件對(duì)于網(wǎng)站seo是有著一【SEO網(wǎng)站推廣】定作用的,要對(duì)其熟練的進(jìn)行運(yùn)用,主要有以下五個(gè)方面促進(jìn)網(wǎng)站優(yōu)化推廣,因?yàn)閞obots文件是針對(duì)搜索引擎的,所以運(yùn)用好能夠增加搜索引擎爬取網(wǎng)站的體驗(yàn)度從而增加網(wǎng)站收錄量。
1.屏蔽網(wǎng)站的空、死鏈接
由于網(wǎng)站內(nèi)容的修改以及刪除,容易導(dǎo)致網(wǎng)站內(nèi)的一些內(nèi)鏈?zhǔn)ё優(yōu)榭真溁蛘咚梨湣MǔN覀儠?huì)對(duì)網(wǎng)站定期檢查空鏈和死鏈,將這些鏈接提取出來,寫入robots文件之中,防止搜索引擎爬取該鏈接,間接提升搜索引擎的體驗(yàn)。該種方式是有效的,因?yàn)樾薷囊呀?jīng)收錄的內(nèi)容時(shí)會(huì)使得搜索引擎重新的爬取修改過的網(wǎng)頁(yè),再次判斷是否進(jìn)行收錄,如果沒有繼續(xù)收錄了,那么就得不嘗試了。
2.防止蜘蛛爬取網(wǎng)站重復(fù)內(nèi)容
因?yàn)榫W(wǎng)站很多的動(dòng)態(tài)頁(yè)面搜索引擎時(shí)無法收錄的,所以很多時(shí)候我們需要對(duì)于這些動(dòng)態(tài)頁(yè)面進(jìn)行制定一個(gè)靜態(tài)的頁(yè)面以助于搜索引擎收錄。這時(shí)候就讓搜索引擎不要爬取某一些重復(fù)的內(nèi)容,可以減少站內(nèi)的頁(yè)面關(guān)鍵詞權(quán)重競(jìng)爭(zhēng)。
3.防止蜘蛛爬取無意義內(nèi)容,浪費(fèi)服務(wù)器資源
網(wǎng)站上是有很多的內(nèi)容都是一些無意義的內(nèi)容,例如網(wǎng)站的各種腳本代碼、css文件和php文件等等,這些文件對(duì)于網(wǎng)站優(yōu)化都是無意義的,爬取這些網(wǎng)站不僅不會(huì)收錄,而且還會(huì)浪費(fèi)服務(wù)器的資源。上圖中很多禁止訪問的內(nèi)容都是這類無意義的文件目錄。
4.保護(hù)網(wǎng)站隱私內(nèi)容
網(wǎng)站有很多的頁(yè)面都是有著一定隱私的,例如一個(gè)用戶接受的推送又或者是購(gòu)物車等等,這些鏈接雖然在一個(gè)頁(yè)面之中有,但是顯然是不希望搜索引擎爬取的內(nèi)容。
5.有利于網(wǎng)站調(diào)試
在網(wǎng)站初步上線前都會(huì)有著一定的錯(cuò)誤,需要一段時(shí)間的調(diào)試再對(duì)搜索引擎開放爬取,在調(diào)試期間就可以將robots文件設(shè)置為對(duì)于所有的搜索引擎都處于拒絕爬取狀態(tài),等所有的錯(cuò)誤都解決后再修改robots文件。
注意細(xì)節(jié):每次修改robots文件之后都需要到搜索引擎站長(zhǎng)平臺(tái)去提交robots文件更新提醒,因?yàn)樗阉饕娓戮W(wǎng)站的狀態(tài)都是需要一定的時(shí)間,只有人工提交才能夠讓更新后的robots文件like生效。

本文名稱:robots文件的意義及對(duì)網(wǎng)站優(yōu)化作用
本文路徑:http://jinyejixie.com/news/67178.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、ChatGPT、自適應(yīng)網(wǎng)站建站公司、網(wǎng)頁(yè)設(shè)計(jì)公司用戶體驗(yàn)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)
湾仔区| 凤凰县| 光山县| 通州市| 酒泉市| 慈溪市| 当阳市| 金堂县| 井研县| 吴旗县| 贡觉县| 贡觉县| 碌曲县| 韩城市| 时尚| 龙泉市| 绥滨县| 屯昌县| 象州县| 阳谷县| 忻州市| 巴里| 富锦市| 宝应县| 富锦市| 姚安县| 桂平市| 综艺| 蓬溪县| 淮南市| 锦屏县| 晋城| 确山县| 宜川县| 奈曼旗| 邵阳县| 甘孜| 临安市| 梓潼县| 阳高县| 宜春市|