成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

做SEO優(yōu)化怎么樣去屏蔽蜘蛛對(duì)網(wǎng)站的抓取

2016-11-05    分類(lèi): 網(wǎng)站建設(shè)

要知道在做SEO優(yōu)化搜索引擎優(yōu)化優(yōu)化的過(guò)程傍邊,有時(shí)候是需要對(duì)搜索引擎蜘蛛進(jìn)行屏蔽的,就是阻止對(duì)網(wǎng)站的某個(gè)當(dāng)?shù)剡M(jìn)行抓取,那么我們應(yīng)該如何屏蔽搜索引擎蜘蛛呢?下面同創(chuàng)新互聯(lián)一起來(lái)看一看具體的操作方法。

百度蜘蛛抓取我們的網(wǎng)站,希望我們的網(wǎng)頁(yè)能被包括在它的查找引擎中。將來(lái),當(dāng)用戶查找時(shí),它會(huì)給我們帶來(lái)一定量的查找引擎優(yōu)化流量。當(dāng)然,我們不想讓查找引擎抓取一切東西。

因而,此時(shí)我們只希望可以抓取查找引擎查找到的內(nèi)容。例如,用戶的隱私和背景信息不希望查找引擎被捕獲和包括。解決這些問(wèn)題有兩種佳方法,如下所示:

robots協(xié)議文件屏蔽百度蜘蛛抓取

robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件,可以通過(guò)網(wǎng)址訪問(wèn),當(dāng)百度蜘蛛抓取我們的網(wǎng)站時(shí),它會(huì)先訪問(wèn)這個(gè)文件。由于它告訴蜘蛛哪些能抓,哪些不能。

robots協(xié)議文件的設(shè)置比較簡(jiǎn)單,可以通過(guò)User-Agent、Disallow、Allow這三個(gè)參數(shù)進(jìn)行設(shè)置。

·User-Agent:對(duì)不同查找引擎的聲明;

·Disallow:不容許抓取的目錄或頁(yè)面;

·Allow:被容許抓取的目錄或頁(yè)面通??梢允〉艋虿粚?xiě),由于假設(shè)你不寫(xiě)任何不能抓取的東西,它就可以被抓取。

下面我們來(lái)看一個(gè)示例,場(chǎng)景是我不希望百度抓取我網(wǎng)站一切的css文件,data目錄、搜索引擎優(yōu)化-tag.html頁(yè)面

如上所述,user-agent聲明晰蜘蛛的名稱(chēng),這意味著它針對(duì)的是百度蜘蛛。以下內(nèi)容無(wú)法獲?。uot;/*。css",首要/指的是根目錄,這是您的域名。 *是代表任何內(nèi)容的通配符。這意味著無(wú)法抓取以.css結(jié)束的一切文件。這是你自己的兩個(gè)經(jīng)歷。邏輯是相同的。

假設(shè)要檢測(cè)前次設(shè)置的周游器文件,可以訪問(wèn)本文《檢查robots是否正確的東西介紹》并獲取具體的東西來(lái)檢測(cè)您的設(shè)置。

通過(guò)403情況碼,束縛內(nèi)容輸出,屏蔽蜘蛛抓取。

403情況代碼是http協(xié)議中的網(wǎng)頁(yè)回來(lái)情況代碼。當(dāng)查找引擎遇到403情況代碼時(shí),它知道這些頁(yè)面受權(quán)限束縛。我無(wú)法訪問(wèn)它。例如,假設(shè)您需求登錄才能查看內(nèi)容,查找引擎自身將無(wú)法登錄。假設(shè)您回來(lái)403,他也知道這是權(quán)限設(shè)置頁(yè)面,無(wú)法讀取內(nèi)容。當(dāng)然,它不會(huì)被包括在內(nèi)。

回來(lái)403情況代碼時(shí),應(yīng)該有一個(gè)類(lèi)似于404頁(yè)面的頁(yè)面。提示用戶或蜘蛛履行他們想要訪問(wèn)的內(nèi)容。兩者都是不可或缺的。您只需提示頁(yè)面,情況代碼回來(lái)200,這是百度蜘蛛的大量重復(fù)頁(yè)面。有403個(gè)情況代碼但回來(lái)不同的內(nèi)容。這也不是很友好。

終究,關(guān)于機(jī)器人協(xié)議,我想補(bǔ)充一點(diǎn):“現(xiàn)在,查找引擎將通過(guò)網(wǎng)頁(yè)的布局和布局來(lái)辨認(rèn)網(wǎng)頁(yè)的用戶友好性。假設(shè)阻止css文件和js文件相關(guān)到布局,然后查找引擎我不知道你的網(wǎng)頁(yè)布局是好是壞。因而不主張阻止這些內(nèi)容來(lái)自蜘蛛。

當(dāng)前名稱(chēng):做SEO優(yōu)化怎么樣去屏蔽蜘蛛對(duì)網(wǎng)站的抓取
文章來(lái)源:http://jinyejixie.com/news/60775.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信公眾號(hào)、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、云服務(wù)器、網(wǎng)站改版

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)
顺昌县| 航空| 德阳市| 洮南市| 绵竹市| 吉林市| 阳江市| 浪卡子县| 衡水市| 池州市| 嘉定区| 电白县| 丹巴县| 绵阳市| 中山市| 绵阳市| 尉氏县| 宜丰县| 湖州市| 麟游县| 济宁市| 云浮市| 凤城市| 重庆市| 康平县| 陇南市| 伊川县| 武鸣县| 万全县| 毕节市| 东乌| 尚志市| 长沙县| 庄浪县| 如皋市| 长岛县| 青川县| 余庆县| 岚皋县| 灵丘县| 忻州市|