成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

如何禁止搜索引擎抓取網(wǎng)站內(nèi)容

2023-04-13    分類: 網(wǎng)站建設(shè)

咱們做查找引擎優(yōu)化都是在想方設(shè)法的讓查找引擎抓取和錄入,可是其實許多狀況下咱們還需求制止查找引擎抓取和錄入比方,公司內(nèi)部測試的網(wǎng)站,或許內(nèi)部網(wǎng),或許后臺登錄的頁面,必定不期望被外面的人查找到,所以要制止查找引擎抓取。

給咱們發(fā)一張制止查找引擎抓取網(wǎng)站的查找成果截圖:咱們能夠看到,描繪沒有被抓取到,而是有一句提示:因為該網(wǎng)站的robotstxt文件存在約束指令(約束查找引擎抓?。?,體系無法供給該頁面的內(nèi)容描繪。

Robots是站點與spider交流的重要途徑,站點經(jīng)過robots文件聲明本網(wǎng)站中不想被查找引擎錄入的部分或許指定查找引擎只錄入特定的部分。

9月11日,百度查找robots全新晉級晉級后robots將優(yōu)化對網(wǎng)站視頻URL錄入抓取狀況僅當您的網(wǎng)站包括不期望被視頻查找引擎錄入的內(nèi)容時,才需求運用robotstxt文件如果您期望查找引擎錄入網(wǎng)站上一切內(nèi)容,請勿樹立robotstxt文件。

如您的網(wǎng)站未設(shè)置robots協(xié)議,百度查找對網(wǎng)站視頻URL的錄入將包括視頻播放頁URL,及頁面中的視頻文件視頻周邊文本等信息,查找對已錄入的短視頻資源將對用戶呈現(xiàn)為視頻極速體會頁此外,綜藝影視類長視頻,查找引擎僅錄入頁面URL.

文章名稱:如何禁止搜索引擎抓取網(wǎng)站內(nèi)容
分享鏈接:http://jinyejixie.com/news18/254218.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈響應(yīng)式網(wǎng)站、移動網(wǎng)站建設(shè)、網(wǎng)站改版、App設(shè)計、微信公眾號

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
曲松县| 共和县| 石嘴山市| 项城市| 青田县| 卓资县| 合江县| 通道| 中阳县| 洛阳市| 石阡县| 安康市| 东城区| 宁城县| 台东市| 徐水县| 安康市| 安乡县| 敦化市| 泰兴市| 墨玉县| 滁州市| 新竹县| 镇雄县| 德州市| 玛多县| 武邑县| 南华县| 高安市| 紫金县| 房产| 嘉祥县| 天门市| 温宿县| 晋中市| 泰州市| 福安市| 涡阳县| 郎溪县| 锡林郭勒盟| 彝良县|