成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

Robots的5個好處和Robots的風(fēng)險及應(yīng)對辦法

2015-07-07    分類: 網(wǎng)站建設(shè)

聲明:本網(wǎng)站由東莞網(wǎng)站建設(shè)網(wǎng)站編輯原創(chuàng),如果您本文感興趣,敬請保留文章內(nèi)部鏈接,否則,本站將會以侵權(quán)進(jìn)行處理。

1. 一般來說,谷歌和百度的搜索引擎的蜘蛛都是遵循 robots.txt 給出的規(guī)則來在你的網(wǎng)站上爬行,robots協(xié)議規(guī)定搜索引擎進(jìn)入你網(wǎng)站的入口就是該網(wǎng)站的 robots.txt文件,但有一個前提是該robots.txt文件必須存在。如果你的網(wǎng)站沒有定義robots.txt文件,那么會是一個什么情況呢?

顯然蜘蛛會被重定向至 404 錯誤頁面,很多seoer的經(jīng)驗,假設(shè)你的網(wǎng)站自定義了 404 頁面,那么蜘蛛會把其視作 robots.txt,所以從這里可以看出,沒有robots.txt文件的網(wǎng)站會給蜘蛛索引網(wǎng)站帶來非常大的困擾,從而影響搜索引擎收錄你的網(wǎng)站頁面內(nèi)容。


2. robots.txt 第二個好處是可以限止不需要的搜索引掣來你的網(wǎng)站爬行,以緩解服務(wù)器的寶貴帶寬資源,如郵件服務(wù)器、Erp服務(wù)器,這類服務(wù)對搜索引擎是沒有任何意義的;比如淘保網(wǎng)站就用robots限止了蜘蛛的爬行。

3. 如果我的網(wǎng)站有些文件是非公開的,那么我可以用robots.txt做說明,不讓搜索引掣來爬行,比如我們網(wǎng)站的后臺管理程序,實際上,一些在運(yùn)行中產(chǎn)生臨時頁面的網(wǎng)站,假設(shè)沒有在robots.txt進(jìn)行說明,搜索引擎都會去索引那些臨時文件。

4. 如果你的網(wǎng)站內(nèi)容,有很多很多的頁面,,那么配置 robots.txt 是必須的,原因是很多時候蜘蛛洪水般的訪問會給網(wǎng)站造成巨大的壓力,假設(shè)你不用robots來控制,有可能會造成你的網(wǎng)站拒絕訪問。

5.一個網(wǎng)站一般主題是相關(guān)的,那么不可避免地會產(chǎn)生很多頁面比較相似的內(nèi)容,對于搜索引掣來說,頁面相似度太高,它可能會給你處罰,那么利用robots.txt限制某些頁面不補(bǔ)收錄就可以很好地幫你解決這個問題。

robots.txt 的風(fēng)險及應(yīng)對辦法:

1. 任何事情有好的一面也有不好的一面,robots.txt 在給網(wǎng)站帶來以上好處的同時也會存在一定的風(fēng)險:第一就是給那些不懷好意思的攻擊者指明了你網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)所在的位置,雖然現(xiàn)在我們的服務(wù)器安全提高了好多,但任何事情我們都要做到防范于未然。

比如說,我的網(wǎng)站中的私密數(shù)據(jù)通過這個地址jinyejixie.com/private/index.html# 訪問,在 robots.txt 中的設(shè)置我是這么設(shè)置的:

User-agent: *

Disallow: /private/

robots.txt文件很明顯地指出了你要隱藏的內(nèi)容在哪里,在瀏覽器中輸入jinyejixie.com/private/# 便可訪問我們的私密內(nèi)容。

那么我們要怎么解決這個問題呢?

a.對/private/目錄設(shè)置訪問權(quán)限,比如密碼保護(hù)。

b.將目錄下的默認(rèn)的主頁面更名為如:123-protect.html,與此同進(jìn),再設(shè)計一個新的index.html 文件,頁面內(nèi)容可以寫“不好意思,你沒有權(quán)限訪問此頁”。

2. 不小心將robots文件設(shè)置錯誤,可能會導(dǎo)致你已經(jīng)被收錄的數(shù)據(jù)會被搜索引掣給刪除。如:

User-agent: *

Disallow: /

以上兩行代碼的意思就是不讓任何搜索引擎索的蜘蛛來網(wǎng)站收錄,更多建站資訊請關(guān)注創(chuàng)新互聯(lián)。

當(dāng)前名稱:Robots的5個好處和Robots的風(fēng)險及應(yīng)對辦法
鏈接分享:http://jinyejixie.com/news/14671.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計公司、移動網(wǎng)站建設(shè)自適應(yīng)網(wǎng)站、外貿(mào)建站、網(wǎng)站改版、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
武宣县| 关岭| 常山县| 福清市| 阿克陶县| 抚州市| 苗栗县| 闽清县| 巫山县| 隆安县| 雅安市| 府谷县| 斗六市| 三亚市| 大埔县| 亳州市| 五寨县| 花莲县| 许昌县| 盐城市| 新巴尔虎左旗| 弋阳县| 象山县| 抚顺市| 南木林县| 英山县| 台东县| 长兴县| 鹤峰县| 民和| 鄱阳县| 越西县| 宝坻区| 濮阳市| 开远市| 湘西| 兴城市| 青阳县| 邹城市| 中山市| 来凤县|