robots.txt是什么？怎么運(yùn)用
2015-01-01 分類： 網(wǎng)站建設(shè)
作為一個(gè)網(wǎng)站建設(shè)加優(yōu)化的公司，是必須要回的就是robots.txt文件，所以我們就來看看這個(gè)文件的意思
robots.txt是一個(gè)純文本文件，用于聲明該網(wǎng)站中不想被蜘蛛訪問的部分，或者指定蜘蛛抓取的部分。不是規(guī)定，而是一種約定，需要蜘蛛自覺遵守的一種習(xí)俗
當(dāng)蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)是否存在robots.txt
如果找到，蜘蛛就會(huì)按照該文件中的內(nèi)容來確定抓取的范圍
如果該文件不存在，那么蜘蛛就沿著鏈接直接抓取
robots.txt的作用
1、防止私密或重要內(nèi)容被搜索引擎抓取
2、節(jié)省服務(wù)器資源，從而提高服務(wù)質(zhì)量
3、減少重復(fù)抓取，提高網(wǎng)站質(zhì)量
4、指定sitemap文件位置
User-agent: *
針對(duì)哪個(gè)搜索引擎蜘蛛
這里的*代表搜索引擎種類，*是通配符
Allow
定義的是允許蜘蛛抓取某個(gè)欄目或文件
Allow: /cgi-bin/
這里定義是允許訪問cgi-bin目錄
Allow:/* .htm$允許訪問以".htm"為后綴的URL
$指的是匹配行結(jié)束符
*指的是匹配任何字符
Disallow
定義的是禁止蜘蛛抓取某個(gè)欄目或文件
Disallow: /admin/
這里定義是禁止抓取admin目錄
Disallow: /cgi-bin/*.htm
禁止抓取/cgi-bin/目錄下的所有以".htm"為后綴的URL
Disallow: /*?*
禁止抓取網(wǎng)站中所有包含問號(hào) “?”的網(wǎng)址
用法：sitemap: http://www.google.com/sitemap.xml
sitemap：URL全稱（包含http://部分）
告訴搜索引擎蜘蛛這個(gè)頁面是網(wǎng)站地圖
robots.txt文件主要是限制整個(gè)站點(diǎn)或者目錄的蜘蛛訪問情況，而robots meta標(biāo)簽則主要是針對(duì)某個(gè)具體的頁面
本文名稱：robots.txt是什么？怎么運(yùn)用
文章URL：http://jinyejixie.com/news21/14321.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、全網(wǎng)營銷推廣、服務(wù)器托管、響應(yīng)式網(wǎng)站、企業(yè)建站、網(wǎng)站收錄
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 怎么才能讓你的網(wǎng)站安全性更高呢 2014-12-30
- 在成都怎樣建設(shè)有特色的網(wǎng)站 2014-12-29
- 如果高效提升轉(zhuǎn)化更有效 2014-12-26
- 如何分清網(wǎng)站的權(quán)重是不是造假 2014-12-24
- seo應(yīng)該怎么配合sem的工作是最好的 2014-12-22
- 要做讓人印象深刻的網(wǎng)站 2014-12-20
- SEO優(yōu)化是怎么對(duì)于不同網(wǎng)站優(yōu)化的 2014-12-18
- 設(shè)計(jì)師怎么在網(wǎng)站上還原設(shè)計(jì)稿 2014-12-17
- Windows服務(wù)器解決“遠(yuǎn)程桌面連接:出現(xiàn)身份驗(yàn)證錯(cuò)誤,要求的函數(shù)不受支持 2023-05-04
- 還可以建一個(gè)站，區(qū)別于云服務(wù)器和虛擬主機(jī)嗎? 2023-04-28
- 營銷型網(wǎng)站使用云服務(wù)器有什么好處 2023-04-18
- 虛擬主機(jī)與云服務(wù)器的區(qū)別 2023-04-03
- 阿里云服務(wù)器Linux主機(jī)如何遠(yuǎn)程連接和基本操作語句 2023-03-27
- 阿里云服務(wù)器Linux主機(jī)如何搭建網(wǎng)站環(huán)境 2023-03-17
- ?云服務(wù)器英文縮寫怎么寫 2023-03-15
- 配置阿里云服務(wù)器wdcp管理面板你可能會(huì)遇到的一些棘手問題 2023-03-07
- 百度清風(fēng)算法3.0是什么？對(duì)網(wǎng)站有影響嗎？ 2014-12-31
- TAG標(biāo)簽是什么？怎么合理的優(yōu)化？ 2014-12-27
- 網(wǎng)站一般會(huì)有什么不容易讓人注意的細(xì)節(jié)呢 2014-12-25
- 營銷型企業(yè)網(wǎng)站怎么做才能把利益更大化 2014-12-23
- seo優(yōu)化怎么根據(jù)不用的網(wǎng)站優(yōu)化的呢 2014-12-19
- 單頁面制作網(wǎng)站的技巧分析/創(chuàng)新互聯(lián) 2014-12-16
- 如何選擇適合鄭州做網(wǎng)站公司的云服務(wù)器 2023-03-27
- 為什么很多人都愛選擇美國RAKsmart云服務(wù)器？ 2023-03-21
- 教你如何快速的購買適用的阿里云云服務(wù)器ECS 2023-02-16
- 鄭州網(wǎng)站建設(shè)公司云服務(wù)器有哪些好處 2023-02-15
- 網(wǎng)站首頁的設(shè)計(jì)有什么需要注意的 2014-12-15
- seo怎么優(yōu)化h1標(biāo)簽，h1標(biāo)簽使用方式 2014-12-14
- 網(wǎng)站流量異常如何正確的向百度搜索資源提交 2014-12-13
- 垃圾外鏈影響有多大？什么外鏈才是垃圾外鏈 2014-12-12
- seoer工作中容易遇到的誤區(qū)是什么 2014-12-11
- 新購云服務(wù)器需要打開常用端口 2022-12-29
- 云服務(wù)器的概念和云服務(wù)器的技術(shù)優(yōu)勢 2022-12-21
- 什么叫云服務(wù)器？云服務(wù)器的優(yōu)勢有哪些 2022-12-03
- 什么是云服務(wù)器，云服務(wù)器主要用于哪些方面？ 2022-11-14
- 企業(yè)開進(jìn)行網(wǎng)站建設(shè)，如何購買合適的云服務(wù)器 2022-11-06