成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

SEO中robots文件的應用

2023-04-13    分類: 網(wǎng)站建設

robots文件是什么?
今天,上海網(wǎng)站優(yōu)化—一易企排小編給大家整理關于robots文件的概念知識。

我們在與人交往的時候,往往會將自己最好的一面展現(xiàn)給對方,避免不好的方面給對方留下不好的印象。同樣,百度為了收錄更多有效的頁面,而SEO人員也為了展示更多有價值的頁面,避免百度收錄一些沒有意義的頁面,robots文件就誕生了。但是網(wǎng)站的程序是多樣化的,不可能每個頁面包括的數(shù)據(jù)庫都有價值,所以百度給出了一個優(yōu)先級的txt文件,也就是robots.txt文件。這個robots文件里優(yōu)先存儲的一般都是禁止百度蜘蛛爬行的文件,也就是不希望百度收錄該網(wǎng)站的頁面。

當百度蜘蛛首次爬行我們網(wǎng)站的時候,會優(yōu)先爬行根目錄下的robots文件,根據(jù)robots文件里屏蔽的文件夾或者某個文件名,而跳過這些文件,然后進行其他目錄下頁面的爬行及收錄。如果網(wǎng)站下并不存在這個文件,那么百度或許會收錄一些不必要的文件,甚至暴露我們的數(shù)據(jù)庫等,這就會給一些不法分子造成空隙,通過我們的網(wǎng)站獲利。

1.robots.robots.txt所存放的位置

robots.txt文本文件必須存放在站點的根目錄下,也就是需要和首頁在同級目錄下。這樣一方面優(yōu)先百度查找并進行排除,另一方面使百度蜘蛛沒有必要去判斷robots.txt文件存放在哪個目錄下。如果沒有robots.txt文件,會使百度蜘蛛爬行所有的網(wǎng)站,然后進行收錄等,增加了一些不必要的操作,加大了百度蜘蛛的工作量。

注意:百度蜘蛛只能識別小寫的rrobots文件,如圖,而且只能放在站點根目錄下。

2.robots.txt常用語句

一般情況下,為了快速建站,會使用一些網(wǎng)絡上的開源程序,而這些開源程序已經(jīng)了解百度蜘蛛的模式,會默認在根目錄下添加robots.txt文件,并且已經(jīng)屏蔽了某些文件夾。以織夢網(wǎng)站CMS(內(nèi)容管理系統(tǒng))里的robots.txt為例:
根據(jù)織夢網(wǎng)站的CMS里的robots.txt文件可以看到,User-agent:*表示禁止所有的搜索引擎收錄本站。Disallow的意思是禁止抓取,/data/表示數(shù)據(jù)庫,/dede/表示織夢默認的后臺登錄地址,/images/表示圖片文件,/include/表示配置文件,/plus/表示附加文件,/special/表示專題目錄,/templets/表示模板靜態(tài)文件,/uploads/表示上傳文件。最后的Sitemap是網(wǎng)站地圖,是告訴百度蜘蛛這是網(wǎng)站的運行軌跡。

以上是織夢網(wǎng)站CMS里的robots文件,每個程序都會有對應的robots文件,我們只需要根據(jù)不同的開源程序提供的robots文
件,我們只需要根據(jù)不同的開源程序提供的robots文件進行添加即可。

3.robots在網(wǎng)站中的展現(xiàn)形式

當SEO工作者需要在網(wǎng)站中展現(xiàn)robots文件的時候,可以根據(jù)自己的代碼知識,或者通過網(wǎng)站程序員的幫助,進行一些必要的代碼添加。而常用的代碼則是<META NAME="ROBOTS"CONTENT="INDEX,F(xiàn)OLLOW">

·META:HTML網(wǎng)站中一個重要的標簽,通??梢哉宫F(xiàn)網(wǎng)站的關鍵詞和網(wǎng)站描述等;

·NAME="ROBOTS":識別所有搜索引擎;

·CONTENT="INDEX,F(xiàn)OLLOW":搜索引擎索引該頁,并可以通過網(wǎng)頁的鏈接搜索其他頁面。

4.小結(jié)

一個優(yōu)秀的網(wǎng)站都會存在robots文件,這個文件往往能幫助我們規(guī)避一些不必要的文件被展現(xiàn)出來。做SEO重要的任務是展現(xiàn)我們的首頁、欄目頁及重要的文章頁。只有當這些頁面優(yōu)化得足夠好的時候,我們的網(wǎng)站才是一個優(yōu)秀的網(wǎng)站。

分享標題:SEO中robots文件的應用
文章地址:http://jinyejixie.com/news45/254145.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設計做網(wǎng)站、軟件開發(fā)網(wǎng)站制作、響應式網(wǎng)站、關鍵詞優(yōu)化

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設
离岛区| 微山县| 扎兰屯市| 寿光市| 商河县| 绥德县| 河间市| 醴陵市| 桑植县| 河池市| 静宁县| 北碚区| 洛隆县| 江门市| 广安市| 新邵县| 余江县| 河间市| 云阳县| 武陟县| 永康市| 徐州市| 托克逊县| 阳朔县| 青浦区| 眉山市| 客服| 南溪县| 泸西县| 武川县| 梨树县| 赣州市| 邳州市| 绥芬河市| 沂南县| 江油市| 乡城县| 年辖:市辖区| 康定县| 北流市| 蓬莱市|