從關鍵詞，到內容和頁面，完成了需求分析和生產。內容在頁面上如何布局，如果處理好內容的結構化，從而更符合搜索引擎的口味，還有很多細致的工作要做，這里不展開。

抓取與收錄

搜索結果頁是站點之間競爭用戶的戰場，要想在競爭中獲勝，首先你得站到戰場上去。根據之前說到的搜索引擎的原理，我們知道，要在搜索結果頁中出現，首先生產的頁面要被搜索引擎的蜘蛛抓取。蜘蛛發現網頁，正常情況下是通過站內的鏈接，和站外的鏈接，按照廣度優先的原則，提取頁面中導出的URL。一般來說，站長還可以通過提交Sitemap，Ping通知蜘蛛，手動提交等方式，幫助蜘蛛發現有效的URL。

前面說到，通過鏈接抓取網頁，按照廣度優先的原則。一般的小站，搜索引擎從起點頁抓取三四層的深度也就不錯了，一般這個起點頁都是網站首頁。所以SEO要將網站整體設計成扁平的結構，有些時候需要為蜘蛛搭一些梯子，幫助它在較短路徑上接觸到更多的URL。舉個例子，

一般情況下，一個頁面內導出鏈接不能過多，超過某個值蜘蛛就不抓了。之前的經驗是100，但是這個數值還是跟網站和具體頁面有關。在網站層級和單頁導出鏈接總量兩個約束條件下，還有一點文章可做，那就是時間。單個頁面導出鏈接最多是100，如果我每天換掉其中的50個呢? 一個最簡單的實現方式是借助于緩存機制，固定的取50個，另外再在全集中隨機取50個，這50個設置緩存時間1天，1天后失效，再隨機取50個，這樣可以大化導出鏈接的時效性，就像廣告的分時段輪播一樣。這里的數字可以根據實效進行調整。站內如此，對于批量交換的外鏈，也可以按照類似的方式實現。

對于移動頁面，有兩種主要的機制通知到蜘蛛PC頁與移動頁的對應關系，一是在PC頁頭部加上mobile-agent的meta屬性，二是在站長工具提交PC/移動頁對應關系的正則(也可以提交全量的URL地址對)。

抓取這個環節至關重要，站長平臺的抓取頻次，和通過accesslog分析得到的抓取明細，都需要時刻監控。小站的log文件，市面上有些一些日志分析工具，自己寫也OK。對于大站的log，很多都存儲于hadoop這樣的分布式存儲上，一般需要定制程序去分析處理。為了即時分析處理，快速反饋，可能需要接入流式計算框架。

對于蜘蛛抓取行為數據的使用，可以用來評估蜘蛛對于站內頁面價值的評定，可以用來反饋輔助抓取所做的一些優化的效果，可以預估新生成頁面被搜索引擎接受的程度，等等。沒有使用價值的數據是沒用的，數據跟具體的應用場景結合起來，才能體現其價值。

對于抓取的頁面，蜘蛛建立倒排索引后，會進行價值判定，按照價值高低，存儲在分級索引庫中。高級別的索引庫才會參與最終的搜索排序。

前段時間，圈子里流出了百度的一個搜索參數，tn=json，以seo這個詞為例，查詢百度搜索前50條結果，查詢URL為，

http://www.baidu.com/s?wd=seo&pn=0&rn=50&tn=json

對于有程序基礎的同學們，json格式比網頁更易于處理。

這個方法只適用于PC端，對于移動端的收錄情況的判斷，還是要老老實實的拼接搜索地址URL，解析相應結果文檔。

一般SEO開始學的時候，都會接觸到site語法，基本上所有常見的搜索引擎也都支持site語法去查詢域名或者目錄級的收錄量查詢。在site查詢語句的后面加上一個詞，可以查詢得到該域名與這個詞相關的頁面。比較有價值的是，site語法查出來的結果，按照網頁的價值倒序排列。這個特征便使得依據相關性內鏈，提升第二頁/第三頁落地頁的排名成為可能。

排名與流量

對于有搜索量的詞，獲得好的排名，幾乎確定了能獲得流量。這里說幾乎，因為還有一個點展比(點擊量除以曝光量)的概念。按照谷歌的規律，PC搜索結果中，前四位獲得點擊的幾率是42%，12%，9%，6%。

先說排名。說到搜索排序，有很多場景下可以用到，比如在搜索結果頁中的推廣鏈接區域有個排序;在淘寶里面搜索，商品返回的結果列表有個默認的排序;App Store中搜索也會按照一定的規則返回結果列表;同樣的，在廣告投放中候選廣告創意去競爭一個展示機會時也有一個排序。這些排序與自然搜索的排序有一個共同點，即為了用戶體驗，將好的，最符合用戶需求的排在前面，從而提升用戶體驗。

影響自然搜索排序的因子應該很多，眾所周知的，如網站自身的權威性與價值，網頁的導入鏈接權重，網頁結構/速度，網頁內容的原創性，以及最重要的，用戶搜索詞的出現頻次，頁面Title與H標簽中出現搜索詞的頻次，等等。這是事前的因素。

有一點特別要提及的，搜索引擎為了構建良好的搜索競爭生態，對新站有個補償機制。這也是實際有效的排序因子。

還有一點事后的因素，獲得排名，用戶點擊，之后是否還點擊了別的搜索結果。如果你的頁面排在某個詞的搜索結果第一位，搜索用戶點擊了你以后，還總會點擊第二位的結果，那顯然第二位的結果更符合用戶需求，排序如何變化可想而知。這點可以從百度公開的專利中找到依據，點擊器也是利用這個原理來實現的。

獲得排名的搜索結果，展現給用戶的信息包括，頁面Title，Description或者頁面內提取的信息摘要，縮略圖，首頁的子鏈接。后面兩者可能有，也可能沒有。還有一個相對次要的因素，搜索結果的域名/鏈接摘要。如何在獲得曝光的情況下，吸引用戶點擊? 除了讓自己的排名盡量靠前外，可以做的事情還包括，優化Title/Description的文案，在頁面主體區域提供合適尺寸的圖片增加被作為縮略圖的幾率等。搜索結果條目示例如下:

百度自己的產品雖然有被提權的嫌疑，但是從SEO的角度看，仍然有很多值得學習的地方。對于一些如果不確定，可以研究百度自己的產品，看具體的實現方式。

經過了關鍵詞，內容，頁面，抓取，索引/收錄，排名，流量，這個漫長的鏈條，我們再回頭來看封面上的漏斗模型，可以從中反思，我們的短板在哪里，機會又在哪里。如果將這些數據匯集在一起，隨時利用這個數據鏈去監控網站的SEO狀況，利用數據對一些優化操作進行效果監控，甚至通過定義一些自動化的策略，使得系統自己可以實施一些優化操作，并利用數據反饋，再調整，再優化，實現智能優化，真正發揮數據的威力。

網頁題目：網站數據抓取與頁面流量排名深度分析
當前網址：http://m.newbst.com/news/224904.html

成都網站建設公司_創新互聯，為您提供微信公眾號、網站建設、外貿網站建設、網站維護、網頁設計公司、用戶體驗

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯