按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法

2023-05-05 分類：網站建設

關于屏蔽爬蟲對鏈接抓取的問題，有些網站通過爬蟲去采集其它的網站頁面信息作為己用，大量的爬取行為會對web服務器有比較性能有影響，主要的表現就是會變得很慢。網站SEO優(yōu)化面試題看看你會怎么做？創(chuàng)新互聯介紹學習按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法。

1、基于程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態(tài)頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。

2、基于iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鐘內并發(fā)連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有“誤傷”，策略細粒度越小就會有更多的“誤傷”，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難準確做到，因為你無法準確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，服務器也就會死機。

3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。代碼如下：

User-agent: *

Disallow: /

新聞標題：按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法
網頁網址：http://jinyejixie.com/news38/258088.html

成都網站建設公司_創(chuàng)新互聯，為您提供靜態(tài)網站、網站維護、云服務器、微信小程序、網站制作、網站排名

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯

猜你還喜歡下面的內容

百度的流量中，不計為SEO效果的流量主要包括哪些 2023-05-05
秦檜簡介（秦檜的生平簡介） 2023-05-05
蘇軾的5首元宵詩詞，我們找到了蘇軾元宵節(jié)古詩詞八首 2023-05-05
判斷網頁設計的好壞的10個重點整理 2023-05-05
網站的文章為什么不被收錄 2023-05-05
做好移動互聯網引流的三大思維模式 2023-05-05
網站推廣如何做SEO優(yōu)化 2023-05-05

成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法

按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法