【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
今天又遇到有同學(xué)問(wèn)我關(guān)于ROBOTS該如何去寫(xiě)的問(wèn)題，這里整理下給大家，其實(shí)也都是來(lái)源于網(wǎng)路上，注意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。
1、禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent:*
Disallow:/
2、允許所有的robot訪問(wèn)(或者也可以建一個(gè)空文件"/robots.txt")
User-agent:*
Allow:/
另一種寫(xiě)法是
User-agent:*
Disallow:
3、僅禁止Baiduspider訪問(wèn)您的網(wǎng)站
User-agent:Baiduspider
Disallow:/
4、僅允許Baiduspider訪問(wèn)您的網(wǎng)站
User-agent:Baiduspider
Allow:/
5、禁止spider訪問(wèn)特定目錄
在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問(wèn)做了限制，即robot不會(huì)訪問(wèn)這三個(gè)目錄。需要注意的是對(duì)每一個(gè)目錄必須
分開(kāi)聲明，而不能寫(xiě)成"Disallow:/cgi-bin//tmp/"。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
6、允許訪問(wèn)特定目錄中的部分url
User-agent:*
Allow:/cgi-bin/see
Allow:/tmp/hi
Allow:/~joe/look
7、使用"*"限制訪問(wèn)url
禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
User-agent:*
Disallow:/cgi-bin/*.htm
8、使用"$"限制訪問(wèn)url
僅允許訪問(wèn)以".htm"為后綴的URL。
User-agent:*
Allow:/.htm$
9、禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
User-agent:*
Disallow:/*?*
10、禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁(yè)，禁止抓取任何圖片。
User-agent:Baiduspider
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
Disallow:/*.bmp$
11、僅允許Baiduspider抓取網(wǎng)頁(yè)和gif格式圖片
允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片
User-agent:Baiduspider
Allow:.gif$
Disallow:/.jpg$
Disallow:/.jpeg$
Disallow:/.png$
Disallow:/.bmp$
12、僅禁止Baiduspider抓取jpg格式圖片
User-agent:Baiduspider
Disallow:/.jpg$
分享文章：【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
瀏覽地址：http://jinyejixie.com/article25/dghijci.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、、小程序開(kāi)發(fā)、品牌網(wǎng)站制作、動(dòng)態(tài)網(wǎng)站、ChatGPT
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)
- 集團(tuán)型網(wǎng)站建設(shè)品牌網(wǎng)站制作設(shè)計(jì) 2020-12-03
- 品牌網(wǎng)站制作怎么建設(shè)更高效 2021-08-27
- 如何做好品牌網(wǎng)站制作 2021-11-16
- 企業(yè)官方品牌網(wǎng)站制作需要遵循的三大原則 2023-03-02
- 品牌網(wǎng)站制作之搜索引擎營(yíng)銷 2021-11-17
- 深圳品牌網(wǎng)站制作營(yíng)銷重點(diǎn) 2021-09-28
- 品牌網(wǎng)站制作的價(jià)格為什么那么高呢？ 2016-10-28
- 品牌網(wǎng)站制作為什么只能選擇網(wǎng)站定制 2021-10-04
- 廣州品牌網(wǎng)站制作有什么特點(diǎn)？ 2022-12-20
- SEO優(yōu)化如何才能戰(zhàn)勝競(jìng)爭(zhēng)對(duì)手 2022-06-04
- 品牌網(wǎng)站制作有哪些重要注意事項(xiàng)？ 2016-08-20
- 品牌網(wǎng)站制作好方法好步驟？ 2021-06-03