前面的幾篇文章中我么介紹了幾種seo初學(xué)者需要理清的關(guān)系，下面小編為大家簡單剖析搜索引擎蜘蛛的分類。按照抓取內(nèi)容的不同可以將搜索引擎蜘蛛分為以下幾類：

A.全文索引

全文搜索引擎從網(wǎng)站提取信息,建立網(wǎng)頁數(shù)據(jù)庫。搜索引擎的自動信息搜集功能分兩種。

一種是定期搜索,即每隔一段時間(如 Google一般是28天),搜索引擎主動派出蜘蛛程序,對一定IP地址范圍內(nèi)的互聯(lián)網(wǎng)網(wǎng)站進(jìn)行檢索,一旦發(fā)現(xiàn)新的網(wǎng)站會自動提取網(wǎng)站的信息和網(wǎng)址并將其加入自己的數(shù)據(jù)庫。

另一種是提交網(wǎng)站搜索,即網(wǎng)站擁有者主動向搜索引擎提交網(wǎng)址。搜索引擎在一定時間內(nèi)(2天到數(shù)月不等)向網(wǎng)站派出蜘蛛程序,掃描網(wǎng)站并將有關(guān)信息存入數(shù)據(jù)庫以備用戶查詢。后來,搜索引擎索引規(guī)則發(fā)生了很大變化,主動提交網(wǎng)址并不能保證網(wǎng)站進(jìn)入搜索引擎數(shù)據(jù)庫,因此,最好的辦法是多獲得一些外部鏈接,讓搜索引擎有更多的機會找到并自動收錄網(wǎng)站。

當(dāng)用戶以關(guān)鍵詞查找信息時,搜索引擎會在數(shù)據(jù)庫中進(jìn)行搜尋。如果找到與用戶要求內(nèi)容相符的網(wǎng)站,便采用特殊的算法(通常根據(jù)網(wǎng)頁中關(guān)鍵詞的匹配程度、出現(xiàn)的位置、頻次、鏈接質(zhì)量)計算出各網(wǎng)頁的相關(guān)度及排名等級,然后根據(jù)關(guān)聯(lián)度的高低,按順序?qū)⑦@些網(wǎng)頁鏈接返回給用戶。這種引擎的特點是搜全率比較高。

B.目錄索引

目錄索引也稱“分類檢索”,是因特網(wǎng)上最早提供WWW資源查詢的服務(wù)。它主要通過搜集和整理因特網(wǎng)的資源,根據(jù)搜索到的網(wǎng)頁內(nèi)容,將其網(wǎng)址分配到相關(guān)分類主題目錄的不同層次的類目之下,形成像圖書館目錄一樣的分類樹形結(jié)構(gòu)索引。目錄索引無須輸入任何文字,只要根據(jù)網(wǎng)站提供的主題分類目錄層層點擊進(jìn)入,便可查到所需的網(wǎng)絡(luò)信息資源。

目錄索引雖然有搜索功能,但在嚴(yán)格意義上它不是真正的搜索引擎,只是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以按照分類目錄找到所需要的信息,不需依靠關(guān)鍵詞( Keyword)進(jìn)行查詢。與全文搜索引擎相比,目錄索引有許多不同之處。首先,搜索引擎屬于自動網(wǎng)站檢索,而目錄索引則完全依賴手工操作。用戶提交網(wǎng)站信息后,目錄編輯人員會親自瀏覽網(wǎng)站,然后根據(jù)一套自定的評判標(biāo)準(zhǔn)甚至編輯人員的主觀印象決定是否接納該網(wǎng)站。

其次,搜索引擎收錄網(wǎng)站時,只要網(wǎng)站本身沒有違反有關(guān)的規(guī)則,一般都能成功登錄;而目錄索引對網(wǎng)站的要求則高得多,有時登錄多次也不一定成功。尤其像Yahoo這樣的超級索引,登錄更是困難。此外,在登錄搜索引擎時,一般不用考慮網(wǎng)站的分類問題,而在登錄目錄索引時則必須將網(wǎng)站放在一個最合適的目錄( Directory)下。

最后,搜索引擎中各網(wǎng)站的有關(guān)信息都是從用戶網(wǎng)頁中自動提取的,所以從用戶的角度看,我們擁有更大的自主權(quán);而目錄索引則要求必須手工填寫網(wǎng)站信息,而且還有各種各樣的限制。更有甚者,如果工作人員認(rèn)為我們提交網(wǎng)站的目錄、網(wǎng)站信息不合適,可以隨時對其進(jìn)行調(diào)整,當(dāng)然事先是不會和我們商量的。

C.元搜索

元搜索引擎( METASearch Engine)接受用戶查詢請求后,同時在多個搜索引擎上搜索,并將結(jié)果返回給用戶。著名的元搜索引擎有 InfoSpace、 Dogpile、 Vivisimo等,中文元搜索引擎中具有代表性的是搜星搜索引擎。在搜索結(jié)果排列方面,有的直接按來源排列搜索結(jié)果,如 Dogpile;有的則按自定規(guī)則將結(jié)果重新排列組合,如Vivisimo。

以上就是小編為大家分享的關(guān)于搜索引擎蜘蛛的分類的文章，文章主要內(nèi)容來源于網(wǎng)絡(luò)，由小編整理發(fā)布，如有侵權(quán)請聯(lián)系本網(wǎng)站!