2013-10-11 分類(lèi): 網(wǎng)站建設(shè)
作為一個(gè)seo工作者,了解搜索引擎爬蟲(chóng)的工作原理,是非常有必要的,因?yàn)檫@是對(duì)于大家根據(jù)爬蟲(chóng)抓取原理對(duì)網(wǎng)站優(yōu)化進(jìn)行調(diào)整的重要依據(jù)。
怎么理解搜索引擎爬蟲(chóng)的工作原理?
1、種子URL
所謂種子URL所指的就是最開(kāi)始選定的URL地址,大多數(shù)情況下,網(wǎng)站的首頁(yè)、頻道頁(yè)等豐富性?xún)?nèi)容更多的頁(yè)面會(huì)被作為種子URL;
然后將這些種子URL放入到待抓取的URL列表中;
2、待抓取URL列表
爬蟲(chóng)從待抓取的URL列表中逐個(gè)進(jìn)行讀取,讀取URL的過(guò)程中,會(huì)將URL通過(guò)DNS解析,把這個(gè)URL地址轉(zhuǎn)換成網(wǎng)站服務(wù)器的IP地址+相對(duì)路徑的方式;
3、網(wǎng)頁(yè)下載器
接下來(lái)把這個(gè)地址交給網(wǎng)頁(yè)下載器(所謂網(wǎng)頁(yè)下載器,顧名思義就是負(fù)責(zé)下載網(wǎng)頁(yè)內(nèi)容的一個(gè)模塊;
4、源代碼
對(duì)于下載到本地的網(wǎng)頁(yè),也就是我們網(wǎng)頁(yè)的源代碼,一方面要將這個(gè)網(wǎng)頁(yè)存儲(chǔ)到網(wǎng)頁(yè)庫(kù)中,另一方面會(huì)從下載網(wǎng)頁(yè)中再次提取URL地址。
5、抽取URL
新提取出來(lái)的URL地址會(huì)先在已抓取的URL列表中進(jìn)行比對(duì),檢查一下這個(gè)網(wǎng)頁(yè)是不是被抓取了。
6、新URL存入待抓取隊(duì)列
如果網(wǎng)頁(yè)沒(méi)有被抓取,就將新的URL地址放入到待抓取的URL列表的末尾,等待被抓取。
就這樣循環(huán)的工作著,直到待抓取隊(duì)列為空的時(shí)候,爬蟲(chóng)就算完成了抓取的全過(guò)程。
然后以下載的網(wǎng)頁(yè),就都會(huì)進(jìn)入到一定的分析中,分析后進(jìn)行索引,我們就能看到收錄結(jié)果了。
不過(guò),關(guān)于搜索引擎蜘蛛的抓取原理,各位優(yōu)化人員,只要將基礎(chǔ)部分進(jìn)行掌握,那么對(duì)于我們的seo優(yōu)化工作就是比較充分了。
文章題目:怎么理解搜索引擎爬蟲(chóng)的工作原理?
鏈接分享:http://m.newbst.com/news/3820.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、域名注冊(cè)、網(wǎng)站策劃、品牌網(wǎng)站制作、搜索引擎優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容