搜索引擎的工作過(guò)程非常復(fù)雜,其工作過(guò)程大體可以分為三個(gè)階段:
(1)網(wǎng)頁(yè)收集:搜索引擎蜘蛛通過(guò)鏈接進(jìn)行爬行和抓取,將抓取到的頁(yè)面存儲(chǔ)到原始數(shù)據(jù)庫(kù)中。
(2)預(yù)處理:搜索引擎蜘蛛抓取到的頁(yè)面不能直接進(jìn)行用戶查詢排名,需要進(jìn)行預(yù)處理。
(3)檢索服務(wù):用戶輸入查詢?cè)~后,排名程序調(diào)用索引數(shù)據(jù)庫(kù)中的數(shù)據(jù),將與用戶搜索詞相關(guān)的頁(yè)面展示給用戶。
搜索引擎是通過(guò)蜘蛛程序?qū)ヂ?lián)網(wǎng)中的網(wǎng)頁(yè)進(jìn)行抓取和收集的,網(wǎng)頁(yè)收集是搜索引擎工作的第一步。了解搜索引擎的網(wǎng)頁(yè)抓取機(jī)制,便于蜘蛛抓取更多的頁(yè)面,使網(wǎng)站有更好的排名。
(1)什么是蜘蛛
網(wǎng)絡(luò)爬蟲(chóng),又被稱為網(wǎng)頁(yè)蜘蛛、網(wǎng)絡(luò)機(jī)器人,是指按照一定的規(guī)則,自動(dòng)抓取互聯(lián)網(wǎng)中網(wǎng)頁(yè)的程序或者腳本。
(2)蜘蛛的工作方式
對(duì)于互聯(lián)網(wǎng)中的網(wǎng)站來(lái)說(shuō),如果沒(méi)有對(duì)其中的鏈接進(jìn)行屏蔽設(shè)置,蜘蛛就可以通過(guò)鏈接在網(wǎng)站內(nèi)或者網(wǎng)站間進(jìn)行爬行和抓取。
由于互聯(lián)網(wǎng)中的網(wǎng)站及頁(yè)面鏈接結(jié)構(gòu)異常復(fù)雜,蜘蛛需要采取一定的爬行策略才能抓取更多的頁(yè)面。
最簡(jiǎn)單的爬行策略有兩種:一種是深度優(yōu)先,另一種是廣度優(yōu)先。
廣度優(yōu)先:是指蜘蛛會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè),然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè),繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。這是最常用的方式,因?yàn)檫@個(gè)方法可以讓網(wǎng)絡(luò)蜘蛛并行處理,提高其抓取速度。
深度優(yōu)先:是指蜘蛛會(huì)從起始頁(yè)開(kāi)始,一個(gè)鏈接一個(gè)鏈接跟蹤下去,處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè),繼續(xù)跟蹤鏈接。
深度優(yōu)先和廣度優(yōu)先通常是混合使用的。這樣既可以照顧到盡量多的網(wǎng)站,也可以照顧到一部分網(wǎng)站的內(nèi)頁(yè),同時(shí)也會(huì)考慮頁(yè)面權(quán)重、網(wǎng)站規(guī)模、外鏈、更新等因素。而且搜索引擎為了提高爬行和抓取的速度。都是用多個(gè)蜘蛛并發(fā)分布爬行。
根據(jù)這一原理,在優(yōu)化網(wǎng)站時(shí),應(yīng)該合理設(shè)置網(wǎng)站中的鏈接,便于蜘蛛更加順利的爬行網(wǎng)站中的各個(gè)頁(yè)面。
(3)認(rèn)識(shí)種子站點(diǎn)
一些互聯(lián)網(wǎng)中的網(wǎng)站被蜘蛛格外看重, 蜘蛛的爬行也往往以這些網(wǎng)站作為起始站點(diǎn)。通常情況下,這類站點(diǎn)具有一定的權(quán)威性和導(dǎo)航性,如新浪、hao123 等。這些具有權(quán)威性和導(dǎo)航性的網(wǎng)站稱為種子站點(diǎn)。因此,在優(yōu)化網(wǎng)站時(shí),可以在種子站點(diǎn)中添加自己網(wǎng)站的鏈接,增加線 蛛抓取的入口。
(4)搜索引擎的收集機(jī)制
如蛛對(duì)于網(wǎng)站的取頻率受網(wǎng)站更新周期的影響,若網(wǎng)站定期定量更新,那么,蜘蛛會(huì)規(guī)律進(jìn)入網(wǎng)站中進(jìn)行爬行和抓取。
蜘蛛每次爬行都會(huì)把頁(yè)面數(shù)據(jù)存儲(chǔ)起來(lái),如果第二次爬行發(fā)現(xiàn)頁(yè)面與第一次收錄的完全一樣,說(shuō)明頁(yè)面沒(méi)有更新,多次抓取后蜘蛛會(huì)對(duì)頁(yè)面更新頻率有所了解。不常更新的頁(yè)面,蜘蛛也就沒(méi)有必要經(jīng)常抓取。如果頁(yè)面內(nèi)容經(jīng)常更新,蜘蛛就會(huì)更加頻繁地訪問(wèn)這種頁(yè)面,頁(yè)面上出現(xiàn)的新鏈接,也自然會(huì)被統(tǒng)蛛更快地抓取。
因此,在優(yōu)化網(wǎng)站時(shí),應(yīng)該定期定量地更新內(nèi)容,增加網(wǎng)站被抓取的頻率。
(5) 文件存儲(chǔ)
視索引擎蜘蛛抓取的
網(wǎng)站制作頁(yè)面存入原始數(shù)據(jù)庫(kù)中。搜索引擎會(huì)對(duì)原始數(shù)據(jù)庫(kù)中的頁(yè)面進(jìn)行相應(yīng)的處。
本文標(biāo)題:做SEO必須熟知的搜索引擎工作原理
當(dāng)前URL:http://m.newbst.com/news15/140915.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、企業(yè)建站、域名注冊(cè)、面包屑導(dǎo)航、網(wǎng)站維護(hù)、外貿(mào)建站
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源:
創(chuàng)新互聯(lián)