成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

蜘蛛耗盡服務(wù)器資源分析

2015-06-04    分類： 網(wǎng)站建設(shè)

當(dāng)我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后，都希望網(wǎng)站被盡快收錄，于是會去吸引蜘蛛的到來，蜘蛛到來的頻率過高有時(shí)候會導(dǎo)致iis資源耗盡，網(wǎng)站中時(shí)常數(shù)出現(xiàn)service unavoidable的提示，這個(gè)詞的出現(xiàn)可以直接表現(xiàn)為訪問量很小。

是蜘蛛的到來引起我們網(wǎng)站資源的缺乏，是蜘蛛耗盡服務(wù)器資源的，所以我們的解決辦法就針對蜘蛛進(jìn)行。利用robots.txt中的disallow屏蔽部分沒有實(shí)際意義的內(nèi)容。

格式如下：

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

說明：

user-agent:*： *代表允許所有的搜索引擎來抓取數(shù)據(jù)。
disallow:/search.html：不允許收錄/search.html這個(gè)文件的數(shù)據(jù)。
disallow:/index.php?：不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/：不允許收錄/tempweb/里所有的文件，但可以收錄如：/tempwebtaim.html的鏈接。

當(dāng)前標(biāo)題：蜘蛛耗盡服務(wù)器資源分析
文章分享：http://jinyejixie.com/news42/19142.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、手機(jī)網(wǎng)站建設(shè)、小程序開發(fā)、網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)
江门市| 金乡县| 扶绥县| 大港区| 定西市| 本溪| 鱼台县| 鄂州市| 渑池县| 永平县| 洛川县| 西平县| 静安区| 鄂尔多斯市| 甘谷县| 郯城县| 区。| 讷河市| 西充县| 右玉县| 长岛县| 类乌齐县| 惠州市| 贵定县| 辽中县| 孟津县| 安仁县| 榆中县| 武山县| 司法| 桐城市| 济宁市| 孝感市| 西华县| 嘉兴市| 宁津县| 云霄县| 平顶山市| 天台县| 洪洞县| 得荣县|