成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

優(yōu)化網(wǎng)站的抓取與收錄

2023-12-01    分類: 網(wǎng)站建設(shè)

      很多有關(guān)于網(wǎng)站結(jié)構(gòu)、抓取與收錄、甚至是排名的問題都可以被歸結(jié)為一個中心問題,那就是:搜索引擎能夠多么容易的抓取您的網(wǎng)站?我們在最近的幾次活動上都談到過這個話題,下面您將會看到我們關(guān)于這個問題的演講內(nèi)容以及要點概括。
網(wǎng)絡(luò)世界極其龐大;每時每刻都在產(chǎn)生新的內(nèi)容。Google 本身的資源是有限的,當(dāng)面對幾近無窮無盡的網(wǎng)絡(luò)內(nèi)容的時候,Googlebot 只能找到和抓取其中一定比例的內(nèi)容。然后,在我們已經(jīng)抓取到的內(nèi)容中,我們也只能索引其中的一部分。
URLs 就像網(wǎng)站和搜索引擎抓取工具之間的橋梁: 為了能夠抓取到您網(wǎng)站的內(nèi)容,抓取工具需要能夠找到并跨越這些橋梁(也就是找到并抓取您的URLs)。如果您的URLs很復(fù)雜或冗長,抓取工具不得不需要反復(fù)花時間去跟蹤這些網(wǎng)址;如果您的URLs很規(guī)整并且直接指向您的獨特內(nèi)容,抓取工具就可以把精力放在了解您的內(nèi)容上,而不是白白花在抓取空網(wǎng)頁或被不同的URLs指引卻最終只是抓取到了相同的重復(fù)內(nèi)容。
在上面的幻燈片上,您可以看到一些我們應(yīng)當(dāng)避免的反例--這些都是現(xiàn)實中存在的URL例子(盡管他們的名稱由于保護隱私的原因已經(jīng)被替換了),這些例子包括被黑的URL和編碼,冗余的參數(shù)偽裝成URL路徑的一部分,無限的抓取空間,等等。您還可以找到幫助您理順這些網(wǎng)址迷宮和幫助抓取工具更快更好地找到您的內(nèi)容的一些建議,主要包括:
1)去除URL中的用戶相關(guān)參數(shù)
那些不會對網(wǎng)頁內(nèi)容產(chǎn)生影響的URL中的參數(shù)——例如session ID或者排序參數(shù)——是可以從URL中去除的,并被cookie記錄的。通過將這些信息加入cookie,然后301重定向至一個“干凈”的URL,你可以保持原有的內(nèi)容,并減少多個URL指向同一內(nèi)容的情況。
控制無限空間
你的網(wǎng)站上是否有一個日歷表,上面的鏈接指向無數(shù)個過去和將來的日期(每一個鏈接地址都獨一無二)?你的網(wǎng)頁地址是否在加入一個&page=3563的參數(shù)之后,仍然可以返回200代碼,哪怕根本沒有這么多頁?如果是這樣的話,你的網(wǎng)站上就出現(xiàn)了所謂的“無限空間”,這種情況會浪費抓取機器人和你的網(wǎng)站的帶寬。如何控制好“無限空間”,參考這里的一些技巧吧。
2)阻止Google爬蟲抓取他們不能處理的頁面
通過使用你的robots.txt 文件,你可以阻止你的登錄頁面,聯(lián)系方式,購物車以及其他一些爬蟲不能處理的頁面被抓取。(爬蟲是以他的吝嗇和害羞而著名,所以一般他們不會自己 “往購物車?yán)锾砑迂浳铩?或者 “聯(lián)系我們”)。通過這種方式,你可以讓爬蟲花費更多的時間抓取你的網(wǎng)站上他們能夠處理的內(nèi)容。
一人一票。 一個 URL, 一段內(nèi)容
在理想的世界里,URL和內(nèi)容之間有著一對一的對應(yīng):每一個URL會對應(yīng)一段獨特的內(nèi)容,而每一段內(nèi)容只能通過唯一的一個URL訪問。越接近這樣的理想狀況,你的網(wǎng)站會越容易被抓取和收錄。如果你的內(nèi)容管理系統(tǒng)或者目前的網(wǎng)站建立讓它實現(xiàn)起來比較困難,你可以嘗試使用rel=canonical元素去設(shè)定你想用的URL去指示某個特定的內(nèi)容。

網(wǎng)站題目:優(yōu)化網(wǎng)站的抓取與收錄
新聞來源:http://jinyejixie.com/news6/297906.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、虛擬主機、ChatGPT、外貿(mào)建站營銷型網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)
淳安县| 财经| 鹤壁市| 孙吴县| 桂东县| 泰和县| 莱西市| 吴桥县| 夏邑县| 平安县| 苗栗市| 晴隆县| 三都| 东方市| 阿图什市| 大新县| 西畴县| 麻栗坡县| 布尔津县| 辽宁省| 浙江省| 龙泉市| 兴仁县| 文成县| 科技| 许昌市| 河曲县| 西藏| 固原市| 遂川县| 迁西县| 合川市| 桦南县| 太白县| 兴和县| 元谋县| 阿瓦提县| 桑植县| 九寨沟县| 莱州市| 高要市|