免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

判斷搜索引擎真假蜘蛛訪問

2023-06-11    分類： 網站建設

主流搜索引擎蜘蛛抓取網站，都會自帶UA特征，比如百度蜘蛛UA（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在網站的訪問日志中也會相應記錄，但UA是可以偽造的，目前越來越多偽造UA的掃描器或采集器都在偽造搜索引擎UA來迷惑管理員，造成無法判斷是否是正規搜索引擎蜘蛛。

我們在不知道蜘蛛IP段的情況下，可以通過運行命令：nslookup 來判斷真假蜘蛛。

首先以百度蜘蛛為例，在訪問日志中找到帶有UA記錄的IP，如：220.181.108.*  在運行cmd命令輸入 nslookup 220.181.108.* ，運行后結果中帶有： baiduspider-220-181-108-*.crawl.baidu.com 字樣，說明是真百度蜘蛛，反之如果沒有則為假。

網站標題：判斷搜索引擎真假蜘蛛訪問
網站地址：http://m.newbst.com/news42/264442.html

成都網站建設公司_創新互聯，為您提供商城網站、移動網站建設、全網營銷推廣、網站營銷、外貿建站、手機網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

網站托管運營