成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

seo教程-網(wǎng)站robot什么意思?robots.txt如何寫(xiě)作?

2022-08-28    分類(lèi): 網(wǎng)站建設(shè)

什么是robots.txt?Robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”,網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。robots.txt是一個(gè)協(xié)議,而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。那么各位站長(zhǎng)對(duì)robots了解多少?知道robots文件怎么寫(xiě)嗎?下面創(chuàng)新互聯(lián)小編就來(lái)為大家介紹。
robots.txt
robots協(xié)議原理
Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范,基于以下原則建立:
1、搜索技術(shù)應(yīng)服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護(hù)其隱私權(quán);
2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。
robots功能
Robots協(xié)議用來(lái)告知搜索引擎營(yíng)銷(xiāo)哪些頁(yè)面能被抓取,哪些頁(yè)面不能被抓取;可以屏蔽一些網(wǎng)站中比較大的文件,如:圖片,音樂(lè),視頻等,節(jié)省服務(wù)器帶寬;可以屏蔽站點(diǎn)的一些死鏈接。方便搜索引擎抓取網(wǎng)站內(nèi)容;設(shè)置網(wǎng)站地圖連接,方便引導(dǎo)蜘蛛爬取頁(yè)面。
什么是robots.txt
網(wǎng)站robots.txt文件如何寫(xiě)作?
robots.txt文件寫(xiě)法如下:
User-agent: * 這里的*代表的所有的搜索引擎種類(lèi),*是一個(gè)通配符。
robots文件的寫(xiě)法
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄。
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄。
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄。
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址。
Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片。
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄。
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄。
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片。
Sitemap: 網(wǎng)站地圖 告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖。
robots.txt
對(duì)于robots.txt文件的寫(xiě)法就為大家分享到這里,當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。成都網(wǎng)站制作思路網(wǎng)小編提醒大家,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí),才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請(qǐng)勿建立robots.txt文件。
參考資料
成都seo顧問(wèn)收費(fèi)標(biāo)準(zhǔn)是多少?seo顧問(wèn)多少錢(qián)一年
大連seo關(guān)鍵詞優(yōu)化-百度排名首頁(yè)-百度推廣-網(wǎng)站優(yōu)化
網(wǎng)絡(luò)營(yíng)銷(xiāo)工程師好學(xué)嗎?網(wǎng)絡(luò)營(yíng)銷(xiāo)工程師培訓(xùn)考試
英文網(wǎng)站建設(shè),建網(wǎng)站新手7天實(shí)現(xiàn)百度網(wǎng)站收錄
網(wǎng)站信息維護(hù)包括哪些內(nèi)容?做好網(wǎng)站維護(hù)工作

詞條標(biāo)簽:robots協(xié)議,

猜您關(guān)注
企業(yè)網(wǎng)站建設(shè)方案策劃書(shū)如何寫(xiě)?企業(yè)網(wǎng)站策劃書(shū)
營(yíng)銷(xiāo)策劃書(shū)怎么寫(xiě)?手機(jī)、ktv、ppt、產(chǎn)品、酒店行業(yè)
seo優(yōu)化一個(gè)網(wǎng)站多少錢(qián)?成都seo優(yōu)化推廣合作
大理網(wǎng)站制作公司哪家收費(fèi)便宜?大理做網(wǎng)站價(jià)格
成都網(wǎng)站關(guān)鍵字優(yōu)化報(bào)價(jià)4513元全包「成都seo優(yōu)化報(bào)價(jià)」

新聞標(biāo)題:seo教程-網(wǎng)站robot什么意思?robots.txt如何寫(xiě)作?
文章分享:http://jinyejixie.com/news37/193637.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站導(dǎo)航做網(wǎng)站、定制開(kāi)發(fā)面包屑導(dǎo)航

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

成都做網(wǎng)站

網(wǎng)站建設(shè)知識(shí)

行業(yè)網(wǎng)站建設(shè)

兴山县| 温州市| 宁城县| 铁岭市| 修文县| 安阳市| 五指山市| 鄂托克旗| 荣成市| 自贡市| 建始县| 开平市| 会东县| 双牌县| 金溪县| 浦东新区| 嵊州市| 丹东市| 柯坪县| 金川县| 京山县| 晋江市| 卢龙县| 察隅县| 砀山县| 嵩明县| 高邮市| 綦江县| 吉木萨尔县| 红原县| 舟曲县| 塘沽区| 公主岭市| 青神县| 林周县| 工布江达县| 集贤县| 额济纳旗| 竹溪县| 新泰市| 凤城市|