成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置

2023-04-09    分類: 網(wǎng)站建設(shè)

做過網(wǎng)站優(yōu)化的朋友都知道,搜索引擎蜘蛛爬行抓取網(wǎng)站時首先會去訪問根目錄下的robots.txt文件,如果robots文件存在,則會根據(jù)robots文件內(nèi)設(shè)置的規(guī)則進(jìn)行爬行抓取,如果文件不存在則會順著首頁進(jìn)行抓取,那么robots文件的工作原理是什么呢?如何對robots.txt文件進(jìn)行設(shè)置

網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置
一、robots.txt的工作原理

robots.txt是一個純文本的文件,文件的名字必須全部小寫,并且放置在網(wǎng)站的根目錄下面,通過文件中的規(guī)則聲明網(wǎng)站哪些內(nèi)容不想被搜索引擎蜘蛛抓取收錄,或者指定某個搜索引擎不能收錄robots.txt也叫做爬蟲協(xié)議,遵循爬蟲協(xié)議的搜索引擎蜘蛛,都會根據(jù)協(xié)議的內(nèi)容對網(wǎng)站進(jìn)行爬蟲抓取的。

二、robots.txt的設(shè)置

1.User-agent的設(shè)置

在"robots.txt"文件中,如果有多條 User-agent 記錄說明有多個 robot 會受到"robots.txt"的限制,對該文件來說,至少要有一條 User-agent 記錄。如果該項的值設(shè)為*,則對任何 robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。

2.Disallow的設(shè)置

這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以 Disallow 項的值開頭的URL不會被 robot 訪問。

3.Allow的設(shè)置

與 Disallow 項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以 Allow項的值開頭的 URL是允許robot訪問的。

合理的運(yùn)用robots.txt文件對網(wǎng)站優(yōu)化能起到很大的作用,比如當(dāng)網(wǎng)站出現(xiàn)死鏈的時候,可以通過robots.txt文件進(jìn)行屏蔽,這樣就不會影響到網(wǎng)站的排名,另外還可以在robots.txt添加網(wǎng)站地圖URL,能有效的幫助搜索引擎蜘蛛對網(wǎng)站內(nèi)容的爬行抓取。

本文名稱:網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置
鏈接URL:http://jinyejixie.com/news43/252593.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計、關(guān)鍵詞優(yōu)化、定制網(wǎng)站網(wǎng)頁設(shè)計公司、企業(yè)網(wǎng)站制作、建站公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)
安龙县| 马边| 寻甸| 收藏| 定南县| 永寿县| 张北县| 永新县| 六盘水市| 通辽市| 沁源县| 胶州市| 宜宾市| 五华县| 修水县| 太仆寺旗| 龙南县| 白沙| 六盘水市| 商丘市| 紫金县| 准格尔旗| 乳源| 鲁山县| 永康市| 左贡县| 苏州市| 梅州市| 多伦县| 即墨市| 万宁市| 永善县| 体育| 五大连池市| 平谷区| 闽清县| 和平县| 马尔康县| 本溪| 石台县| 资溪县|