一般我們的網(wǎng)站能在百度等搜索引擎上搜到，說(shuō)明該搜索引擎的爬蟲(chóng)爬到了我們的網(wǎng)站并且被搜索引擎收錄。

全世界有成千上萬(wàn)的搜索引擎，當(dāng)然不一定只有搜索引擎才有爬蟲(chóng)蜘蛛。那么每天有這么多蜘蛛訪問(wèn)我們的網(wǎng)站，肯定對(duì)網(wǎng)站的產(chǎn)生一些影響，比如流量的損失、占用服務(wù)器資源等，嚴(yán)重者甚至造成服務(wù)器宕機(jī)。

所我們要認(rèn)識(shí)這些蜘蛛，那些對(duì)我們是有用的，我們要?dú)g迎。那些是對(duì)我們無(wú)益的，我們就把它屏蔽掉。

通過(guò) robots.txt 可以屏蔽無(wú)用的蜘蛛，參考我的這篇文章：Robots協(xié)議探究：如何好好利用爬蟲(chóng)

下面整理了一些搜索引擎蜘蛛：

1、BaiduSpider（百度蜘蛛）

常見(jiàn)的百度蜘蛛有：Baiduspider 和 Baiduspider-image（抓取圖片）。國(guó)內(nèi)網(wǎng)站大多數(shù)流量都來(lái)自百度，所以推薦放行。

百度還有其它幾個(gè)蜘蛛：

Baiduspider-video（抓取視頻）

Baiduspider-news（抓取新聞）

Baiduspider-mobile（抓取wap）

百度蜘蛛介紹：http://www.baidu.com/search/spider.html

2、Googlebot（谷歌蜘蛛）

常見(jiàn)的谷歌蜘蛛有：Googlebot，還一個(gè) Googlebot-Mobile ，不是很常見(jiàn)，看名字是應(yīng)該是抓取 wap 頁(yè)面的。世界第一大搜索引擎，推薦放行。

谷歌蜘蛛鏈接：http://www.google.com/bot.html

3、360Spider（360蜘蛛）

一個(gè)十分“勤奮抓爬”的蜘蛛。

360蜘蛛IP：https://www.so.com/help/spider_ip.html

4、Sogou web spider（搜狗蜘蛛）

搜狗公司還有其它幾個(gè)蜘蛛：Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，德順在日志中只發(fā)現(xiàn)了常見(jiàn)的Sogou web spider。

參考百度的robots文件，搜狗蜘蛛名稱可以用 Sogou 概括，但有沒(méi)有用就不知道了。

搜狗蜘蛛爬蟲(chóng)：http://www.sogou.com/docs/help/webmasters.htm

5、Bingbot（必應(yīng)蜘蛛）

必應(yīng)是微軟的搜索引擎，微軟的IE瀏覽器和Edge瀏覽器會(huì)默認(rèn)使用該搜索引擎，而且占有率也還可以，不建議屏蔽。

必應(yīng)蜘蛛爬蟲(chóng)：http://www.bing.com/bingbot.htm

6、Sosospider（SOSO蜘蛛）

騰訊不玩了，交給搜狗公司了。

soso蜘蛛爬蟲(chóng)：http://help.soso.com/webspider.htm

7、Yahoo! Slurp China（雅虎中國(guó)）或 Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬蟲(chóng)：

雅虎中國(guó)：http://misc.yahoo.com.cn/help.html

雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp

8、MSNBot，MSNot-media（MSN蜘蛛）

MSNBOT應(yīng)該是 bing 搜索的蜘蛛，MSN和bing是一家的，可以只保留 Bingbot。

MSN蜘蛛爬蟲(chóng)：http://search.msn.com/msnbot.htm

9、YisouSpider（一搜蜘蛛/神馬搜索）

神馬搜索是UC和阿里2013年已經(jīng)成立合資公司推出的移動(dòng)搜索引擎。

該蜘蛛抓取頻率還是很高的，很多人并不看好，不過(guò)如果屏蔽的話，會(huì)損失 UC瀏覽器 的流量來(lái)源。自己斟酌吧！

10、還有一些蜘蛛，不會(huì)給網(wǎng)站帶來(lái)流量，還會(huì)占用資源，建議屏蔽之。

YoudaoBot（有道蜘蛛）：網(wǎng)易有道的蜘蛛，并不會(huì)帶來(lái)流量。

JikeSpider（即刻蜘蛛）：“即刻搜索”是由人民搜索網(wǎng)絡(luò)股份公司于2011年6月20日推出的通用搜索引擎平臺(tái)，建議屏蔽。

即刻蜘蛛：http://shoulu.jike.com/spider.html

EasouSpider（宜搜蜘蛛）：宜搜是主要針對(duì)手機(jī)端的搜索引擎，非常傻帽的一個(gè)爬蟲(chóng)，建議屏蔽之。

YYSpider：據(jù)說(shuō)是個(gè)人寫(xiě)的蜘蛛程序，指向的是 http://www.yunyun.com/spider.html，yunyun.com  目前不能訪問(wèn)，建議屏蔽之。

ToutiaoSpider（頭條號(hào)）：今日頭條的頭條號(hào)蜘蛛，不能帶來(lái)流量，屏蔽好啦。

來(lái)源：http //web toutiao com/media_cooperation

MJ12bot：英國(guó)的一個(gè)搜索引擎，官方解釋為：成千上萬(wàn)的企業(yè)使用13種語(yǔ)言和60多個(gè)國(guó)家來(lái)繪制互聯(lián)網(wǎng)地圖，獨(dú)立于基于消費(fèi)者的搜索引擎。

來(lái)源：http://mj12bot.com/

YandexBot：國(guó)外的一個(gè)網(wǎng)站分析平臺(tái)，建議屏蔽。

詳細(xì)介紹：https://webmaster.yandex.com

來(lái)源：http://yandex.com/bots

Rogerbot：Moz 網(wǎng)站的機(jī)器人。與 Moz 的官方機(jī)器人 DotBot 不同，Rogerbot 似乎不再是一個(gè)合法的機(jī)器人。

DotBot：嗯，看到這你應(yīng)該懂了。

來(lái)源：http://www.opensiteexplorer.org/dotbot

exabot：Exalead或Dassault Systemes網(wǎng)站的機(jī)器人。

ia_archiver（Alexa蜘蛛）：Alexa 的網(wǎng)站和網(wǎng)站審計(jì)爬蟲(chóng)。

Teoma：是美國(guó) Ask Jeeves 搜索引擎的蜘蛛，在美國(guó)占 5% 的搜索份額。

gigabot：搜索到的是一個(gè) 3D 打印公司，沒(méi)什么亂用，屏蔽即可。

DOCOMO Sprider：日本 NTT DoCoMo 旗下的搜索引擎蜘蛛，是垃圾搜索引擎爬蟲(chóng)，有看到你的日志里面有這只蜘蛛，直接毫不猶豫的禁掉。

AhrefsBot：國(guó)外的一個(gè)網(wǎng)站監(jiān)控工具，要不要屏蔽

來(lái)源：http://ahrefs.com/robot/

SemrushBot：嗯，應(yīng)該也是一個(gè)網(wǎng)站分析工具。

來(lái)源：http://www.semrush.com/bot.html

以上是創(chuàng)新互聯(lián)建站整理的一些已知的網(wǎng)站蜘蛛，應(yīng)該還有沒(méi)整理到的。

常用的搜索引擎就那么幾個(gè)，只要在 robots.txt 文件里把常用的搜索引擎蜘蛛放進(jìn)來(lái)就行，其它的可以統(tǒng)統(tǒng)屏蔽。

網(wǎng)站題目：創(chuàng)新互聯(lián)對(duì)搜索引擎蜘蛛爬蟲(chóng)名稱整理總匯
URL鏈接：http://jinyejixie.com/news11/322261.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷、建站公司、搜索引擎優(yōu)化、微信小程序、靜態(tài)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)