上在周末的時(shí)候就與之前的同事聚了一下，在其中一位和我同行的同事給我講了一件事，就是他上周在他們公司面試了一位做網(wǎng)站推廣的人，這個(gè)人稱自己已經(jīng)有3年的網(wǎng)站推廣工人經(jīng)驗(yàn)，他的態(tài)度也非常的傲慢，在我的同事與他交談當(dāng)中，我的同事提倒一個(gè)話題就是robots.txt到底是不是應(yīng)該去做，在他的談?wù)撝兴硎緦?duì)于robots.txt的用處不大，他以前在網(wǎng)站推廣的時(shí)候就都沒(méi)有寫。

后來(lái)我同事就講到他自己的觀點(diǎn)，他說(shuō)：robots.txt文件是必須的。我不知道為什么做了3年網(wǎng)站推廣的人會(huì)說(shuō)robots.txt沒(méi)什么大用處，還說(shuō)沒(méi)有其他外部鏈接蜘蛛就不會(huì)抓取到這些頁(yè)面，沒(méi)必要用robots.txt屏蔽。要是真的這樣，為什么蜘蛛到了一個(gè)網(wǎng)站會(huì)首先看這個(gè)網(wǎng)站的robots.txt文件？robots.txt文件沒(méi)有任何外部鏈接，仍能被蜘蛛爬取到？并且網(wǎng)站的源代碼里面肯定會(huì)有 css、js、網(wǎng)站后臺(tái)、圖片等鏈接那么這些文件都不用屏蔽？

OK，如果不寫robots.txt也能做好網(wǎng)站推廣，我承認(rèn)，的確是，但是robots.txt做為網(wǎng)站推廣入門的基礎(chǔ)知識(shí)，是我們每個(gè)網(wǎng)站推廣專員應(yīng)該注重的。網(wǎng)站建設(shè)好網(wǎng)站推廣做的就是細(xì)節(jié)，如果這個(gè)細(xì)節(jié)你不注意、那個(gè)細(xì)節(jié)也不注意，不注意的細(xì)節(jié)多了，你怎么能做好網(wǎng)站推廣？

無(wú)論是百度也好、谷歌也好，他們的網(wǎng)站推廣手冊(cè)里都寫到：

搜索引擎使用spider程序自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì) 檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

robots.txt的使用其實(shí)是網(wǎng)站推廣的高級(jí)運(yùn)用，在一些行業(yè)網(wǎng)站上尤為明顯，行業(yè)網(wǎng)站頁(yè)面過(guò)多，無(wú)用的頁(yè)面也有很多，所以必須使用robots.txt屏蔽無(wú)用頁(yè)面，提升蜘蛛的爬取效率，這是網(wǎng)站推廣的高級(jí)策略。

所以，robots.txt文件確實(shí)是有用的，并不像有些人說(shuō)的那么不重要，有些人雖然做了幾年的網(wǎng)站推廣，但是現(xiàn)在還想用以前的思路來(lái)做網(wǎng)站推廣，顯然 是不可取的，搜索引擎的技術(shù)在飛速提升，zac說(shuō)過(guò)，谷歌在幾年前就能抓取js里面的鏈接了，并且能傳遞權(quán)重，你還認(rèn)為js不能被搜索引擎識(shí)別嗎？

搜索引擎的技術(shù)正在一步一步的完善，如果我們網(wǎng)站推廣技術(shù)不能與時(shí)俱進(jìn)，那就只能被淘汰！

文章標(biāo)題：我同事對(duì)網(wǎng)站推廣robots.txt的觀點(diǎn)
標(biāo)題鏈接：http://jinyejixie.com/news30/118580.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營(yíng)銷推廣、面包屑導(dǎo)航、做網(wǎng)站、服務(wù)器托管、網(wǎng)站排名、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)