[轉(zhuǎn)載]ROBOTS.TXT指南
2015-02-12 分類： 網(wǎng)站建設(shè)
當(dāng)搜索引擎訪問一個(gè)網(wǎng)站時(shí)，它首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做robots.txt的純文本文件。Robots.txt文件用于限定搜索引擎對(duì)其網(wǎng)站的訪問范圍，即告訴搜索引擎網(wǎng)站中哪些文件是允許它進(jìn)行檢索(下載)的。這就是大家在網(wǎng)絡(luò)上?？吹降摹熬芙^Robots訪問標(biāo)準(zhǔn)”(Robots Exclusion Standard)。下面我們簡(jiǎn)稱RES。 Robots.txt文件的格式：Robots.txt文件的格式比較特殊，它由記錄組成。這些記錄通過空行分開。其中每條記錄均由兩個(gè)域組成： 1) 一個(gè)User-Agent(用戶代理)字符串行； 2) 若干Disallow字符串行。 記錄格式為： ":" 下面我們分別對(duì)這兩個(gè)域做進(jìn)一步說明。 User-agent(用戶代理)： User-agent行(用戶代理行) 用于指定搜索引擎robot的名字，以Google的檢索程序Googlebot為例，有：User-agent: Googlebot 一個(gè)robots.txt中至少要有一條User-agent記錄。如果有多條User-agent記錄，則說明有多個(gè)robot會(huì)受到RES標(biāo)準(zhǔn)的限制。當(dāng)然了，如果要指定所有的robot，只需用一個(gè)通配符"*"就搞定了，即：User-agent: * Disallow(拒絕訪問聲明)： 在Robots.txt文件中，每條記錄的第二個(gè)域是Disallow:指令行。這些Disallow行聲明了該網(wǎng)站中不希望被訪問的文件和(或)目錄。例如"Disallow: email.htm"對(duì)文件的訪問進(jìn)行了聲明，禁止Spiders下載網(wǎng)站上的email.htm文件。而"Disallow: /cgi-bin/"則對(duì)cgi-bin目錄的訪問進(jìn)行了聲明，拒絕Spiders進(jìn)入該目錄及其子目錄。Disallow聲明行還具有通配符功能。例如上例中"Disallow: /cgi-bin/"聲明了拒絕搜索引擎對(duì)cgi-bin目錄及其子目錄的訪問，而"Disallow:/bob"則拒絕搜索引擎對(duì)/bob.html和/bob/indes.html的訪問(即無論是名為bob的文件還是名為bob的目錄下的文件都不允許搜索引擎訪問)。Disallow記錄如果留空，則說明該網(wǎng)站的所有部分都向搜索引擎開放。 空格 & 注釋 在robots.txt文件中，凡以"#"開頭的行，均被視為注解內(nèi)容，這和UNIX中的慣例是一樣的。但大家需要注意兩個(gè)問題： 1) RES標(biāo)準(zhǔn)允許將注解內(nèi)容放在指示行的末尾，但這種格式并不是所有的Spiders都能夠支持。譬如，并不是所有的Spiders都能夠正確理解"Disallow: bob #comment"這樣一條指令。有的Spiders就會(huì)誤解為Disallow的是"bob#comment"。最好的辦法是使注解自成一行。 2) RES標(biāo)準(zhǔn)允許在一個(gè)指令行的開頭存在空格，象"Disallow: bob #comment"，但我們也并不建議大家這么做。 Robots.txt文件的創(chuàng)建： 需要注意的是，應(yīng)當(dāng)在UNIX命令行終端模式下創(chuàng)建Robots.txt純文本文件。好的文本編輯器一般都能夠提供UNIX模式功能，或者你的FTP客戶端軟件也“應(yīng)該”能夠替你轉(zhuǎn)換過來。如果你試圖用一個(gè)沒有提供文本編輯模式的HTML編輯器來生成你的robots.txt純文本文件，那你可就是瞎子打蚊子——白費(fèi)力氣了。 對(duì)RES標(biāo)準(zhǔn)的擴(kuò)展： 盡管已經(jīng)提出了一些擴(kuò)展標(biāo)準(zhǔn)，如Allow行或Robot版本控制(例如應(yīng)該忽略大小寫和版本號(hào))，但尚未得到RES工作組的正式批準(zhǔn)認(rèn)可。 附錄I. Robots.txt用法舉例： 使用通配符"*"，可設(shè)置對(duì)所有robot的訪問權(quán)限。 User-agent: * Disallow: 表明：允許所有搜索引擎訪問網(wǎng)站下的所有內(nèi)容。 User-agent: * Disallow: / 表明：禁止所有搜索引擎對(duì)網(wǎng)站下所有網(wǎng)頁(yè)的訪問。 User-agent: * Disallow: /cgi-bin/Disallow: /images/ 表明：禁止所有搜索引擎進(jìn)入網(wǎng)站的cgi-bin和images目錄及其下所有子目錄。需要注意的是對(duì)每一個(gè)目錄必須分開聲明。 User-agent: Roverdog Disallow: / 表明：禁止Roverdog訪問網(wǎng)站上的任何文件。 User-agent: Googlebot Disallow: cheese.htm 表明：禁止Google的Googlebot訪問其網(wǎng)站下的cheese.htm文件。 上面介紹了一些簡(jiǎn)單的設(shè)置，對(duì)于比較復(fù)雜的設(shè)置，可參看一些大型站點(diǎn)如CNN或Looksmart的robots.txt文件(www.cnn.com/robots.txt, www.looksmart.com/robots.txt ) 附錄II. 相關(guān)robots.txt文章參考： 1. Robots.txt常見問題解析 2. Robots Meta Tag的使用 3. Robots.txt檢測(cè)程序
網(wǎng)頁(yè)標(biāo)題：[轉(zhuǎn)載]ROBOTS.TXT指南
轉(zhuǎn)載源于：http://jinyejixie.com/news/33551.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、品牌網(wǎng)站制作、微信小程序、網(wǎng)站制作、虛擬主機(jī)、外貿(mào)網(wǎng)站建設(shè)
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 提高網(wǎng)站點(diǎn)擊率的方法 2015-02-12
- 網(wǎng)頁(yè)設(shè)計(jì)中Html使用的一些問題 2015-11-22
- 在 DW 中插入 Flash 的參數(shù)詳解 2015-02-11
- 網(wǎng)站規(guī)劃書的寫作規(guī)范 2015-02-10
- 做好客戶開發(fā)，首先要會(huì)寫開發(fā)信 2015-02-10
- 成都外貿(mào)英文網(wǎng)站SEO優(yōu)化注意事項(xiàng) 2016-03-02
- 網(wǎng)頁(yè)制作中一些容易被忽視的問題 2015-02-12
- VBScript和JScript互相調(diào)用方法 2015-02-11
- 在Web頁(yè)中使用Media Player 2015-02-11
- DW中實(shí)現(xiàn)flash的透明背景 2015-02-11
- 把網(wǎng)站變成賣場(chǎng) 2015-02-10
- 做好SEO，你必須要知道的15個(gè)谷歌SEO優(yōu)化工具 2016-03-02
- 做外貿(mào)如何高效回復(fù)老外詢盤 2015-02-10
- 外貿(mào)企業(yè)海外推廣經(jīng)驗(yàn)分享 2016-03-02
- 老外喜歡的外貿(mào)網(wǎng)站到底是什么樣的？ 2015-02-09
- 谷歌?-如何針對(duì)展示廣告網(wǎng)絡(luò)優(yōu)化關(guān)鍵字 2016-03-02
- 谷歌與您分享如何了解可見度和 Active View 報(bào)告指標(biāo) 2015-02-09
- 做平臺(tái)還是獨(dú)立站？營(yíng)收破億的新加坡創(chuàng)業(yè)家這樣說 2015-02-09
- 如何把中國(guó)元素應(yīng)用于成都網(wǎng)頁(yè)設(shè)計(jì)中？ 2015-11-21