成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

網(wǎng)站Robots.txt文件有何用,該怎樣寫呢

2023-07-10    分類: 網(wǎng)站建設

今天小編跟大家講解下有關(guān)“網(wǎng)站Robots.txt文件有何用,該怎樣寫呢”的內(nèi)容 ,相信小伙伴們對這個話題應該有所關(guān)注吧,小編也收集到了相關(guān)資料,希望小伙伴們看了有所幫助。

網(wǎng)站Robots.txt文件,是網(wǎng)站與搜索引擎交流的通用協(xié)議,通過Robots協(xié)議的設置告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓?。阂环矫婵梢宰鼍W(wǎng)站安全的防護,更重要的是用來做優(yōu)化,減少無效頁面的收錄,提升站點的排名效果。

但是在實際的操作中,絕大多數(shù)的網(wǎng)站,在其撰寫上都存在或多或少的欠缺,甚至由于技術(shù)性的錯誤撰寫,還會導致網(wǎng)站降權(quán)、不收錄、被K等一系列問題的出現(xiàn)。對于這一點,在對客戶的SEO診斷過程中,會經(jīng)常遇到,可以算是很多站點的通病。那么關(guān)于robots.txt協(xié)議你寫對了嗎?

一:設置成Allow全站點抓取

百度收錄的越多,網(wǎng)站的排名越高?這是絕大多數(shù)站長的認為,事實上也是如此。但是也并非絕對成立:低質(zhì)量的頁面收錄,會降低網(wǎng)站的排名效果,這一點你考慮到了嗎?

如果你的網(wǎng)站結(jié)構(gòu)不是非常的清晰,以及不存在多余的“功能”頁面,不建議對網(wǎng)站開全站點的抓取。

二:什么樣的頁面不建議抓取

對于網(wǎng)站功能上有用的目錄,有用的頁面,在用戶體驗上可以得到更好的提升。但是搜索引擎方面來講,就會造成:服務器負擔,比如:大量的翻頁評論,對優(yōu)化上則沒有任何的價值。

除此外還包含如:網(wǎng)站做了偽靜態(tài)處理后,那么就要將動態(tài)鏈接屏蔽掉,避免搜索引擎抓取。用戶登錄目錄、注冊目錄、無用的軟件下載目錄,如果是靜態(tài)類型的站點,還要屏蔽掉動態(tài)類型的鏈接 。

三:撰寫上的細節(jié)注意事項

方法上來講,絕大多數(shù)的站長都明白,這里就不做多說了,不明白的站長,可以上百度百科看一下。今天這里說一些不常見的,可能是不少站長的疑問。

1、舉例:Disallow; /a 與Disallow: /a/的區(qū)別,很多站長都見過這樣的問題,為什么有的協(xié)議后加斜杠,有的不加斜杠呢?筆者今天要說的是:如果不加斜杠,屏蔽的是以a字母開頭的所有目錄和頁面,而后者代表的是屏蔽當前目錄的所有頁面和子目錄的抓取。

通常來講,我們往往選擇后者更多一些,因為定義范圍越大,容易造成“誤殺”。

2、JS文件、CSS需要屏蔽嗎?不少網(wǎng)站都做了這個屏蔽,但是筆者要說的是:google站長工具明確的說明:封禁css與js調(diào)用,可能會影響頁面質(zhì)量的判斷,從而影響排名。而對此,我們做了一些了解,百度方面同樣會有一定影響。

3、已經(jīng)刪除的目錄屏蔽,很多站長往往刪除一些目錄后,怕出現(xiàn)404問題,而進行了屏蔽,禁止搜索引擎再抓取這樣的鏈接。事實上,這樣做真的好嗎?即使你屏蔽掉了,如果之前的目錄存在問題,那么沒有被蜘蛛從庫中剔除,同樣會影響到網(wǎng)站。

建議的方式是:將對應的主要錯誤頁面整理出來,做死鏈接提交,以及自定義404頁面的處理,徹底的解決問題,而不是逃避問題。

感謝各位的閱讀,以上就是“網(wǎng)站Robots.txt文件有何用,該怎樣寫呢”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對網(wǎng)站Robots.txt文件有何用,該怎樣寫呢都有更深刻的體會了吧。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!

網(wǎng)站欄目:網(wǎng)站Robots.txt文件有何用,該怎樣寫呢
文章分享:http://jinyejixie.com/news24/271574.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、全網(wǎng)營銷推廣網(wǎng)站營銷、企業(yè)建站、做網(wǎng)站、網(wǎng)站收錄

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設計
阿坝| 天台县| 平罗县| 重庆市| 宜阳县| 玛多县| 阿拉善右旗| 股票| 怀仁县| 兰西县| 嘉黎县| 顺义区| 翁牛特旗| 葫芦岛市| 佳木斯市| 东丽区| 太湖县| 富裕县| 宁阳县| 巴彦淖尔市| 万载县| 东乡| 祥云县| 万源市| 吴桥县| 县级市| 文安县| 南城县| 阳山县| 澎湖县| 明溪县| 雅安市| 紫阳县| 逊克县| 江阴市| 祁阳县| 阳春市| 柞水县| 沅江市| 荥阳市| 盐城市|