搜索引擎蜘蛛抓取的原始頁面，并不能直接用于查詢排名處理。搜索引擎數據庫中的頁面數都在數萬億級別以上，用戶輸入搜索詞后，靠排名程序實時對這么多頁面分析相關性，計算量太大，不可能在一兩秒內返回排名結果。因此抓取來的頁面必須經過預處理，為最后的查詢排名做好準備。

和爬行抓取一樣，預處理也是在后臺提前完成的，用戶搜索時感覺不到這個過程。

1.提取文字

現在的搜索引擎還是以文字內容為基礎。蜘蛛抓取到的頁面中的HTML代碼，除了用戶在瀏覽器上可以看到的可見文字外，還包含了大量的HTML格式標簽、JavaScript程序等無法用于排名的內容。搜索引擎預處理首先要做的就是從HTML文件中去除標簽、程序，提取出可以用于排名處理的網頁面文字內 容。

今天愚人節哈

除去HTML代碼后，剩下的用于排名的文字只是這一行：

今天愚人節哈

除了可見文字，搜索引擎也會提取出一些特殊的包含文字信息的代碼，如Meta標簽中的文字、圖片替代文字、Flash文件的替代文字、鏈接錨文字等。

2.中文分詞

分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎的。英文等語言單詞與單詞之間有空格分隔，搜索引擎索引程序可以直接把句子 劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符，一個句子中的所有字和詞都是連在一起的。搜索引擎必須首先分辨哪幾個字組成一個詞，哪些字本身就是一 個詞。比如“減肥方法將被分詞為“減肥和“方法兩個詞。

中文分詞方法基本上有兩種，一種是基于詞典匹配，另一種是基于統計。

基于詞典匹配的方法是指，將待分析的一段漢字與一個事先造好的詞典中的詞條進行匹配，在待分析漢字串中掃描到詞典中已有的詞條則匹配成功，或者說切分出一個單詞。

按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長度優先級的不同，又可以分為大匹配和最小匹配。將掃描方向和長度優先混合，又可以產生正向大匹配、逆向大匹配等不同方法。

詞典匹配方法計算簡單，其準確度在很大程度上取決于詞典的完整性和更新情況。

基于統計的分詞方法指的是分析大量文字樣本，計算出字與字相鄰出現的統計概率，幾個字相鄰出現越多，就越可能形成一個單詞?；诮y計的方法的優勢是對新出現的詞反應更快速，也有利于消除歧義。

基于詞典匹配和基于統計的分詞方法各有優劣，實際使用中的分詞系統都是混合使用兩種方法的，快速高效，又能識別生詞、新詞，消除歧義。

中文分詞的準確性往往影響搜索引擎排名的相關性。比如在百度搜索“搜索引擎優化，從快照中可以看到，百度把“搜索引擎優化這六個字當成一個詞。

而在Google搜索同樣的詞，快照顯示Google將其分切為“搜索引擎和“優化兩個詞。顯然百度切分得更為合理，搜索引擎優化是一個完整的概念。Google分詞時傾向于更為細碎。

這種分詞上的不同很可能是一些關鍵詞排名在不同搜索引擎有不同表現的原因之一。比如百度更喜歡將搜索詞完整匹配地出現在頁面上，也就是說搜索“夠戲博客 時，這四個字連續完整出現更容易在百度獲得好的排名。Google就與此不同，不太要求完整匹配。一些頁面出現“夠戲和“博客兩個詞，但不必完整匹配 地出現，“夠戲出現在前面，“博客出現在頁面的其他地方，這樣的頁面在Google搜索“夠戲博客時，也可以獲得不錯的排名。

搜索引擎對頁面的分詞取決于詞庫的規模、準確性和分詞算法的好壞，而不是取決于頁面本身如何，所以SEO人員對分詞所能做的很少。唯一能做的是在頁面上用某種形 式提示搜索引擎，某幾個字應該被當做一個詞處理，尤其是可能產生歧義的時候，比如在頁面標題、h1標簽及黑體中出現關鍵詞。如果頁面是關于“和服的內 容，那么可以把“和服這兩個字特意標為黑體。如果頁面是關于“化妝和服裝，可以把“服裝兩個字標為黑體。這樣，搜索引擎對頁面進行分析時就知道標為 黑體的應該是一個詞。

3.去停止詞

無論是英文還是中文，頁面內容中都會有一些出現頻率很 高，卻對內容沒有任何影響的詞，如“的、“地、“得之類的助詞，“啊、“哈、“呀之類的感嘆詞，“從而、“以、“卻之類的副詞或介詞。 這些詞被稱為停止詞，因為它們對頁面的主要意思沒什么影響。英文中的常見停止詞有the，a，an，to，of等。

搜索引擎在索引頁面之前會去掉這些停止詞，使索引數據主題更為突出，減少無謂的計算量。

4.消除噪聲

絕 大部分頁面上還有一部分內容對頁面主題也沒有什么貢獻，比如版權聲明文字、導航條、廣告等。以常見的博客導航為例，幾乎每個博客頁面上都會出現文章分類、歷史存檔等導航內容，但是這些頁面本身與“分類、“歷史這些詞都沒有任何關系。用戶搜索“歷史、“分類這些關鍵詞時僅僅因為頁面上有這些詞出現而 返回博客帖子是毫無意義的，完全不相關。所以這些區塊都屬于噪聲，對頁面主題只能起到分散作用。

搜索引擎需要識別并消除這些噪聲，排名時不使用噪聲內容。消噪的基本方法是根據HTML標簽對頁面分塊，區分出頁頭、導航、正文、頁腳、廣告等區域，在網站上大量重復出現的區塊往往屬于噪聲。對頁面進行消噪后，剩下的才是頁面主體內容。

5.去重

搜索引擎還需要對頁面進行去重處理。

同 一篇文章經常會重復出現在不同網站及同一個網站的不同網址上，搜索引擎并不喜歡這種重復性的內容。用戶搜索時，如果在前兩頁看到的都是來自不同網站的同一 篇文章，用戶體驗就太差了，雖然都是內容相關的。搜索引擎希望只返回相同文章中的一篇，所以在進行索引前還需要識別和刪除重復內容，這個過程就稱為“去 重。

去重的基本方法是對頁面特征關鍵詞計算指紋，也就是說從頁面主體內容中選取最有代表性的一部分關鍵詞(經常是出現頻率高的關鍵 詞)，然后計算這些關鍵詞的數字指紋。這里的關鍵詞選取是在分詞、去停止詞、消噪之后。實驗表明，通常選取10個特征關鍵詞就可以達到比較高的計算準確 性，再選取更多詞對去重準確性提高的貢獻也就不大了。

典型的指紋計算方法如MD5算法(信息摘要算法第五版)。這類指紋算法的特點是，輸入(特征關鍵詞)有任何微小的變化，都會導致計算出的指紋有很大差距。

了 解了搜索引擎的去重算法，SEO人員就應該知道簡單地增加“的、“地、“得、調換段落順序這種所謂偽原創，并不能逃過搜索引擎的去重算法，因為這樣 的操作無法改變文章的特征關鍵詞。而且搜索引擎的去重算法很可能不止于頁面級別，而是進行到段落級別，混合不同文章、交叉調換段落順序也不能使轉載和抄襲 變成原創。

6.正向索引

正向索引也可以簡稱為索引。

經過文字提取、分詞、消噪、去重后，搜索引擎得到的就是獨特的、能反映頁面主體內容的、以詞為單位的內容。接下來搜索引擎索引程序就可以提取關鍵詞，按照分詞程序劃分好的詞， 把頁面轉換為一個關鍵詞組成的集合，同時記錄每一個關鍵詞在頁面上的出現頻率、出現次數、格式(如出現在標題標簽、黑體、H標簽、錨文字等)、位置(如頁 面一段文字等)。這樣，每一個頁面都可以記錄為一串關鍵詞集合，其中每個關鍵詞的詞頻、格式、位置等權重信息也都記錄在案。

搜索引擎索引程序將頁面及關鍵詞形成詞表結構存儲進索引庫。簡化的索引詞表形式如表2-1所示。

每個文件都對應一個文件ID，文件內容被表示為一串關鍵詞的集合。實際上在搜索引擎索引庫中，關鍵詞也已經轉換為關鍵詞ID.這樣的數據結構就稱為正向索引。

7.倒排索引

正向索引還不能直接用于排名。假設用戶搜索關鍵詞2，如果只存在正向索引，排名程序需要掃描所有索引庫中的文件，找出包含關鍵詞2的文件，再進行相關性計算。這樣的計算量無法滿足實時返回排名結果的要求。

所以搜索引擎會將正向索引數據庫重新構造為倒排索引，把文件對應到關鍵詞的映射轉換為關鍵詞到文件的映射，如表2-2所示。

在倒排索引中關鍵詞是主鍵，每個關鍵詞都對應著一系列文件，這些文件中都出現了這個關鍵詞。這樣當用戶搜索某個關鍵詞時，排序程序在倒排索引中定位到這個關鍵詞，就可以馬上找出所有包含這個關鍵詞的文件。

8.鏈接關系計算

鏈接關系計算也是預處理中很重要的一部分?，F在所有的主流搜索引擎排名因素中都包含網頁之間的鏈接流動信息。搜索引擎在抓取頁面內容后，必須事前計算出：頁 面上有哪些鏈接指向哪些其他頁面，每個頁面有哪些導入鏈接，鏈接使用了什么錨文字，這些復雜的鏈接指向關系形成了網站和頁面的鏈接權重。

Google PR值就是這種鏈接關系的最主要體現之一。其他搜索引擎也都進行類似計算，雖然它們并不稱為PR.

由于頁面和鏈接數量巨大，網上的鏈接關系又時時處在更新中，因此鏈接關系及PR的計算要耗費很長時間。關于PR和鏈接分析，后面還有專門的章節介紹。

9.特殊文件處理

除 了HTML文件外，搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我們在搜索結果 中也經常會看到這些文件類型。但目前的搜索引擎還不能處理圖片、視頻、Flash這類非文字內容，也不能執行腳本和程序。

雖然搜索引擎在識別圖片及從Flash中提取文字內容方面有些進步，不過距離直接靠讀取圖片、視頻、Flash內容返回結果的目標還很遠。對圖片、視頻內容的排名還往往是依據與之相關的文字內容，詳細情況可以參考后面的整合搜索部分。

排名

經過搜索引擎蜘蛛抓取的界面，搜索引擎程序 計算得到倒排索引后，收索引擎就準備好可以隨時處理用戶搜索了。用戶在搜索框填入關鍵字后，排名程序調用索引庫數據，計算排名顯示給客戶，排名過程是與客戶直接互動的。

分享名稱：致新手：先了解搜索引擎知識 再做SEO
文章來源：http://m.newbst.com/news39/67339.html

成都網站建設公司_創新互聯，為您提供網站建設、企業建站、品牌網站制作、服務器托管、用戶體驗、標簽優化

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯