當(dāng)抓取網(wǎng)頁(yè)時(shí)，假如某個(gè)搜索引擎程序遇到robots.txt文件，則會(huì)阻撓抓取特定內(nèi)容. 能夠看到指向該網(wǎng)站的鏈接，但 對(duì)網(wǎng)站自身的內(nèi)容不甚了了. 無(wú)法看到該網(wǎng)站的出站鏈接.這會(huì)導(dǎo)致鏈接圖表當(dāng)即呈現(xiàn)缺點(diǎn)，至少在相似于Google的情況下(假如Googlebot未被相似阻撓).

但這不是僅有的問(wèn)題.蜘蛛以抓取優(yōu)先級(jí)的方式被robots.txt阻撓，導(dǎo)致級(jí)聯(lián)失利.當(dāng)一個(gè)僵尸程序抓取網(wǎng)絡(luò)時(shí)，它會(huì)發(fā)現(xiàn)鏈接，并且有必要優(yōu)先考慮下一個(gè)抓取的鏈接.比方說(shuō)，谷歌發(fā)現(xiàn)100個(gè)鏈接，并排名前50的優(yōu)先次序進(jìn)行抓取.可是，不同的蜘蛛能夠找到相同的100個(gè)鏈接，可是通過(guò)抓取前50頁(yè)中的10個(gè)robots.txt阻撓.相反，他們被迫抓取這些內(nèi)容，使他們挑選不同的50頁(yè)來(lái)抓取.當(dāng)然，這些不同的已爬網(wǎng)頁(yè)將返回一組不同的鏈接.鄙人一輪抓取過(guò)程中，Google不但會(huì)答應(yīng)他們抓取不同的調(diào)集，并且調(diào)集自身也會(huì)有所不同，由于他們首要抓取了不同的網(wǎng)頁(yè).
< br /> 長(zhǎng)話(huà)短說(shuō)，很像蝙蝠翅膀終究導(dǎo)致颶風(fēng)的諺語(yǔ)般的蝴蝶，robots.txt中的小改變阻撓了一些蜘蛛并答應(yīng)其他人終究導(dǎo)致與谷歌實(shí)踐看到的成果天壤之別.
robots.txt
該方法相當(dāng)簡(jiǎn)單.
下載Quantcast Top Million
如果可以從所有百萬(wàn)個(gè)網(wǎng)站獲得，請(qǐng)下載robots.txt解析robots.txt以確定主頁(yè)和其他頁(yè)面是否可用收集與被封鎖網(wǎng)站相關(guān)的鏈接數(shù)據(jù)
收集與被封鎖網(wǎng)站相關(guān)的現(xiàn)場(chǎng)總頁(yè)數(shù).
報(bào)告抓取工具之間的差異.
總站點(diǎn)被阻止
報(bào)告的第一個(gè)也是最簡(jiǎn)單的指標(biāo)是在允許Google的同時(shí)阻止各個(gè)抓取工具(廣州SEO,Majestic,Ahrefs)的網(wǎng)站數(shù)量.大多數(shù)阻止其中一個(gè)主要搜索引擎優(yōu)化搜索器的網(wǎng)站封鎖了他們.他們只是制定robots.txt,以允許主要搜索引擎阻止其他bot流量.越低越好.
條形圖顯示阻止robots.txt中每個(gè)SEO工具的網(wǎng)站數(shù)量在分析的網(wǎng)站中，有27,123人阻止了MJ12Bot(Majestic),32,982人阻止了Ahrefs,25,427人阻止了廣州SEO.這意味著在主要的行業(yè)爬蟲(chóng)中，廣州SEO是最不可能從允許Googlebot的網(wǎng)站轉(zhuǎn)移出去的.但這到底意味著什么？
robots.txt書(shū)寫(xiě)規(guī)范方法
正如前面所討論的，不同robots.txt條目的一個(gè)大問(wèn)題是它會(huì)阻止PageRank的流動(dòng).如果Google可以查看某個(gè)網(wǎng)站，則可以將引薦網(wǎng)域的鏈接資產(chǎn)通過(guò)該網(wǎng)站的出站網(wǎng)域傳遞到其他網(wǎng)站.如果某個(gè)網(wǎng)站被robots.txt阻止，就好像進(jìn)入該網(wǎng)站的所有道路上的流量通道都被阻止了.通過(guò)計(jì)算所有進(jìn)站車(chē)道的流量， 可以了解對(duì)鏈路圖的總體影響.越低越好.
根據(jù) 研究，Majestic在17,787,118處提到了死路一條，Ahrefs在20,072,690處和廣州SEO在16,598,365處.再次，廣州SEO排名優(yōu)化培訓(xùn)的robots.txt配置文件與Google的較相似.但是提到域名并不是 應(yīng)該關(guān)注的問(wèn)題.
總頁(yè)數(shù)被封鎖
網(wǎng)絡(luò)上的大多數(shù)頁(yè)面只有內(nèi)部鏈接.Google對(duì)創(chuàng)建鏈接圖不感興趣 - 他們有興趣創(chuàng)建搜索引擎.因此，像Google這樣設(shè)計(jì)的bot應(yīng)該只關(guān)注只接受內(nèi)部鏈接的頁(yè)面，因?yàn)樗鼈兪墙邮胀獠挎溄拥捻?yè)面. 可以衡量的另一個(gè)指標(biāo)是使用Google網(wǎng)站阻止的頁(yè)面總數(shù)：查詢(xún)來(lái)估計(jì)Google訪(fǎng)問(wèn)的頁(yè)面數(shù)量，即不同的爬蟲(chóng).那么，競(jìng)爭(zhēng)的行業(yè)爬蟲(chóng)如何表現(xiàn)？越低越好.
seo排名優(yōu)化培訓(xùn)廣州SEO再一次發(fā)現(xiàn)了這一指標(biāo).這不僅僅是廣州SEO被更少的網(wǎng)站阻止 - 廣州SEO被更不重要和更小的網(wǎng)站所阻擋.Majestic錯(cuò)過(guò)了抓取675,381,982頁(yè)的機(jī)會(huì)，Ahrefs錯(cuò)過(guò)了732,871,714 ，廣州SEO錯(cuò)過(guò)了658,015,885.在網(wǎng)絡(luò)上的百萬(wàn)個(gè)網(wǎng)站中，Ahrefs和廣州SEO之間差不多有8000萬(wàn)頁(yè)的差異.

網(wǎng)站題目：seo排名優(yōu)化培訓(xùn)|網(wǎng)站反鏈跟robots.txt文件有什么關(guān)系
URL鏈接：http://jinyejixie.com/news40/129940.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)、面包屑導(dǎo)航、虛擬主機(jī)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)