2023-05-05 分類: 網站建設
1、基于程序本身去防止爬取:作為爬蟲程序,爬取行為是對頁面的源文件爬取,如爬取靜態頁面的html代碼,可以用jquery去模仿寫html,這種方法偽裝的頁面就很難被爬取了,不過這種方法對程序員的要求很高。
2、基于iptables和shell腳本:可以對nginx的access.log進行策略定義,例如定義在1分鐘內并發連接數超過30個ip為非法,如ip不在白名單內,則加入iptables策略封掉,當然這種的缺點是會有“誤傷”,策略細粒度越小就會有更多的“誤傷”,細粒度大就會使效果變差,另外還有類似的第三方工具fail2ban,利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址(例如網易、有道)的爬取行為拒絕也很難準確做到,因為你無法準確知道這些特定的爬蟲ip地址。注意:建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿,服務器也就會死機。
3.使用robots.txt文件:例如阻止所有的爬蟲爬取,但是這種效果不是很明顯。代碼如下:
User-agent: *
Disallow: /
新聞標題:按照有效程度為序,列舉屏蔽爬蟲對鏈接抓取的3種方法
網頁網址:http://m.newbst.com/news38/258088.html
成都網站建設公司_創新互聯,為您提供靜態網站、網站維護、云服務器、微信小程序、網站制作、網站排名
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容