2021-09-14 分類(lèi): 網(wǎng)站建設(shè)
對(duì)于robots相比各位站長(zhǎng)和seoer再熟悉不過(guò)了,現(xiàn)在基本上每個(gè)網(wǎng)站都會(huì)寫(xiě)入robots文件。其實(shí)robots文件跟我們的網(wǎng)站地圖差不多,搜索引擎來(lái)到一個(gè)網(wǎng)站首先看的就是robots文件和我們地圖,所以正確書(shū)寫(xiě)robots文件對(duì)于我們靠搜索引擎吃飯的這類(lèi)人來(lái)說(shuō)是很重要的,想要讓你的網(wǎng)站繼續(xù)在互聯(lián)網(wǎng)上運(yùn)營(yíng)那么你必須要搞好跟搜索引擎的關(guān)系。一個(gè)網(wǎng)站的網(wǎng)站地圖和robots文件是搜索引擎首先去爬行的,但他們兩者的作用也是各不相同,網(wǎng)站地圖的作用是讓整個(gè)網(wǎng)站內(nèi)容清晰的展現(xiàn)給搜索引擎,而robots文件的作用就好比是一個(gè)導(dǎo)游一樣指明了一個(gè)網(wǎng)站的哪些地方可以去爬行,哪些地方不可以爬行。下面筆者就為大家分享一些關(guān)于robots文件編寫(xiě)規(guī)則,不然你知道了他的作用,不知道怎么編寫(xiě),那豈不是很憋屈。
Robots.txt編寫(xiě)的開(kāi)放性問(wèn)題
很多站長(zhǎng),尤其是新手站長(zhǎng)對(duì)于Robots.txt的理解過(guò)于片面,他們認(rèn)為既然Robots.txt可以規(guī)定蜘蛛的訪問(wèn)途徑,那我們何必不開(kāi)放,把所有文件都設(shè)置成可訪問(wèn),這樣一來(lái)網(wǎng)站的收錄量不久立即上升了,其實(shí)問(wèn)題遠(yuǎn)遠(yuǎn)沒(méi)有我們想象的簡(jiǎn)單,大家都知道網(wǎng)站中一些固定的文件是不必傳送給搜索引擎訪問(wèn)的,如果我們把網(wǎng)站全方位開(kāi)放,后果就是加大網(wǎng)站服務(wù)器負(fù)載,降低訪問(wèn)速度,減緩蜘蛛的爬行率,對(duì)于網(wǎng)站收錄沒(méi)有一點(diǎn)用處,所以對(duì)于固定不需要訪問(wèn)的文件,我們直接Disallow掉就可以了。一般情況下,網(wǎng)站不需要訪問(wèn)的文件有后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、等等。
Robots.txt編寫(xiě)的重復(fù)性問(wèn)題
我們每天都在寫(xiě)著原創(chuàng)內(nèi)容,然后更新到自己的網(wǎng)站中,大家想過(guò)沒(méi)有我們這樣做的目的是什么當(dāng)然是為了討搜索引擎的好,大家都知道搜索引擎很看重原創(chuàng)內(nèi)容,對(duì)于原創(chuàng)內(nèi)容的收錄很快,相反,如果你的網(wǎng)站中充斥著大量的復(fù)制內(nèi)容,那么我只能遺憾的告訴你,網(wǎng)站的前途一片渺茫。不過(guò)這也從另一個(gè)方面告訴我們要積極的利用robots文件禁止重復(fù)頁(yè)面的代碼,降低頁(yè)面的重復(fù)度,但是在編寫(xiě)robots文件時(shí)一定要記得在User-agent后加入某個(gè)搜索引擎,例如User-agent:BaiduSpiderDisallow:/,如果沒(méi)有加入,編寫(xiě)成User-agent: * Disallow: /形式,則是對(duì)網(wǎng)站所有內(nèi)容的屏蔽。
Robots.txt編寫(xiě)的meta問(wèn)題
在Robots.txt編寫(xiě)規(guī)則中,有一個(gè)取最強(qiáng)參數(shù)法則,而且如果網(wǎng)站以及頁(yè)面標(biāo)簽上同時(shí)出現(xiàn)robots.txt文件和meta標(biāo)簽,那么搜索引擎就會(huì)服從兩個(gè)規(guī)則中較為嚴(yán)格的一個(gè),即禁止搜索引擎對(duì)于某個(gè)頁(yè)面的索引,當(dāng)然如果robots.txt文件和meta標(biāo)簽不是出現(xiàn)一個(gè)文件中,那么搜索引擎就會(huì)遵循就近原則,就會(huì)索引meta標(biāo)簽前的所有文件。
當(dāng)前文章:淺談robots文件的編寫(xiě)
分享鏈接:http://jinyejixie.com/news13/126763.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、標(biāo)簽優(yōu)化、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站建設(shè)、網(wǎng)站策劃、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容