免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

seo優(yōu)化公司:爬蟲質(zhì)量的評價標(biāo)準(zhǔn)

2023-08-17    分類: 網(wǎng)站建設(shè)

爬蟲質(zhì)量的評價標(biāo)準(zhǔn)

如果從搜索引擎用戶體驗的角度考慮,對爬蟲的工作效果有不同的評價標(biāo)準(zhǔn),其中最主要的 3 個標(biāo)準(zhǔn)是:抓取網(wǎng)頁的覆蓋率、抓取網(wǎng)頁時新性及抓取網(wǎng)頁重要性。如果這 3 方面做得好,則搜索引擎用戶體驗必定好。

對于現(xiàn)有的搜索引擎來說,還不存在哪個搜索引擎有能力將互聯(lián)網(wǎng)上出現(xiàn)的所有網(wǎng)頁都下載并建立索引,所有搜索引擎只能索引互聯(lián)網(wǎng)的一部分。而所謂的抓取覆蓋率指的是爬蟲抓取網(wǎng)頁的數(shù)量占互聯(lián)網(wǎng)所有網(wǎng)頁數(shù)量的比例,覆蓋率越高,等價于搜索引擎的召回率越高,用戶體驗越好。

索引網(wǎng)頁和互聯(lián)網(wǎng)網(wǎng)頁對比

抓取到本地的網(wǎng)頁,很有可能已經(jīng)發(fā)生變化,或者被刪除,或者內(nèi)容被更改,因為爬蟲抓取完一輪需要較長的時間周期,所以抓取到的網(wǎng)頁當(dāng)中必然會有一部分是過期的數(shù)據(jù),即不能在網(wǎng)頁變化后第一時間反應(yīng)到網(wǎng)頁庫中。所以網(wǎng)頁庫中過期的數(shù)據(jù)越少,則網(wǎng)頁的時新性越好,這對用戶體驗的改善大有裨益。

如果時新性不好,搜索到的都是過期數(shù)據(jù),或者網(wǎng)頁被刪除,用戶的內(nèi)心感受可想而知。

互聯(lián)網(wǎng)盡管網(wǎng)頁繁多,但是每個網(wǎng)頁的差異性都很大,比如來自騰訊、網(wǎng)易新聞的網(wǎng)頁和某個作弊網(wǎng)頁相比,其重要性猶如天壤之別。如果搜索引擎抓取到的網(wǎng)頁大部分是比較重要的網(wǎng)頁,則可以說明在抓取網(wǎng)頁重要性方面做得比較好。這方面做的越好,則越說明搜索引擎的搜索精度越高。

通過以上 3 個標(biāo)準(zhǔn)的說明分析,可以將爬蟲研發(fā)的目標(biāo)簡單描述如下:在資源有限的情況下,既然搜索引擎只能抓取互聯(lián)網(wǎng)現(xiàn)存網(wǎng)頁的一部分,那么就盡可能給選擇比較重要的那部分頁面來索引;對于已經(jīng)抓取到的網(wǎng)頁,盡可能快的更新內(nèi)容,使得索引網(wǎng)頁和互聯(lián)網(wǎng)對應(yīng)頁面內(nèi)容同步更新;在此基礎(chǔ)上,盡可能擴大抓取范圍,抓取到更多以前無法發(fā)現(xiàn)的網(wǎng)頁。

3 個“盡可能”基本說清楚了爬蟲系統(tǒng)為增強用戶體驗而奮斗的目標(biāo)。

大型商業(yè)搜索引擎為了滿足 3 個質(zhì)量標(biāo)準(zhǔn),大都開發(fā)了多套針對性很強的爬蟲系統(tǒng)。以Google為例,至少包含兩套不同的爬蟲系統(tǒng):一套被稱為Fresh Bot,主要考慮網(wǎng)頁的時新性,對于內(nèi)容更新頻繁的網(wǎng)頁,目前可以達到以秒計的更新周期;另外一套被稱之為Deep Crawl Bot,主要針對更新不是那么頻繁的網(wǎng)頁抓取,以天為更新周期。

除此之外,Google投入了很大精力研發(fā)針對暗網(wǎng)的抓取系統(tǒng),

分享文章:seo優(yōu)化公司:爬蟲質(zhì)量的評價標(biāo)準(zhǔn)
網(wǎng)站鏈接:http://m.newbst.com/news13/276563.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開發(fā)ChatGPT品牌網(wǎng)站制作外貿(mào)網(wǎng)站建設(shè)品牌網(wǎng)站設(shè)計企業(yè)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站建設(shè)網(wǎng)站維護公司