免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

蜘蛛爬行抓取的地址庫和文件存儲

2022-04-12    分類: 網站建設

地址庫
為了避免重復爬行和抓取網址,搜索引擎會建立一個地址庫,記錄已經被發現還沒有抓取的頁面,以及已經被抓取的頁面地址庫中的URL有幾個來源:

(1)人工錄入的種子網站。
(2)蜘蛛抓取頁面后,從HTML中解析出新的鏈接URL與地址庫中的數據進行對比,如果是地址庫中沒有的網址,就存入待訪問地址庫。
(3)站長通過搜索引擎網頁提交表格提交進來的網址。
蜘蛛按重要性從待訪問地址庫中提取URL,訪問并抓取頁面,然后把這個URL,從待訪問地址庫中刪除,放進已訪問地址庫中。
大部分主流搜索引擎都提供一個表格,讓站長提交網址。不過這些提交來的網址都只是存入地址庫而已,是否收錄還要看頁面重要性如何。搜索引擎所收錄的絕大部分頁面是蜘蛛自己跟蹤鏈接得到的。可以說提交頁面基本上是毫無用處的,搜索引擎更喜歡自己沿著鏈接發現新頁面。
文件存儲
搜索引擎蜘蛛抓取的數據存入原始頁面蕪湖網站設計數據庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的,每個URL都有一個獨特的文件編號 。

分享標題:蜘蛛爬行抓取的地址庫和文件存儲
鏈接URL:http://m.newbst.com/news25/145525.html

成都網站建設公司_創新互聯,為您提供網頁設計公司微信小程序虛擬主機網站設計Google標簽優化

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

微信小程序開發