創(chuàng)新互聯(lián)建站導(dǎo)讀:禁止搜索引擎抓取網(wǎng)站頁面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某個文件夾,可以用下面這段代碼: User-agent: Baiduspider Disallow: wenjianjia/
吉林網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司,吉林網(wǎng)站設(shè)計制作,有大型網(wǎng)站制作公司豐富經(jīng)驗。已為吉林上1000+提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)要多少錢,請找那個售后服務(wù)好的吉林做網(wǎng)站的公司定做!
問題:SEO怎么禁止百度蜘蛛爬某個文件夾?
回答:禁止搜索引擎抓取網(wǎng)站頁面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某個文件夾,可以用下面這段代碼:
User-agent: Baiduspider
Disallow: wenjianjia/
這里簡單解釋下幾個字段概念:
Baiduspider:這個是百度搜索引擎蜘蛛;
Disallow:這表示禁止,不需要蜘蛛抓??;
wenjianjia/:這里替換你要禁止百度蜘蛛爬行的文件夾名,這里要注意下,如果在文件夾名稱的后面加了 / ,就表示禁止抓取文件夾下面的頁面,比如說www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/這個欄目頁面還是會被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的話,就要去掉后面的 / ,也就是下面這樣的代碼:
User-agent: Baiduspider
Disallow: wenjianjia
關(guān)于SEO怎么禁止百度蜘蛛爬某個文件夾的問題,本文就簡單的介紹到這里,總之使用robots文件是比較方便的,大家可以使用上面的代碼,修改成自己的文件夾名稱即可。如果要禁止兩個文件夾,那就多復(fù)制一行,比如:
User-agent: Baiduspider
Disallow: wenjianjia_one/
Disallow: wenjianjia_two/
分享標題:SEO怎么禁止百度蜘蛛爬某個文件夾
瀏覽路徑:http://jinyejixie.com/article40/epedeo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機網(wǎng)站建設(shè)、軟件開發(fā)、App設(shè)計、網(wǎng)頁設(shè)計公司、做網(wǎng)站、電子商務(wù)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)