影響蜘蛛爬行并最終影響到頁面收錄結果主要有幾個方面的原因。

1．網站的更新情況

一般來說，網站更新很快，蜘蛛就會更快地抓取網站的內容。如果網站的內容很長時間都沒有任何的更新，蜘蛛也會相應調整對網站的爬行頻率。更新頻率對新聞等網站來說很關鍵。因此，保持每天一定的更新數量，對吸引蜘蛛是非常重要的。

2．網站內容的質量

對于低質量的頁面，搜索引擎一直是打擊的，因此，創建高質量的內容，對于吸引蜘蛛是非常關鍵的，從這個角度來說，“內容制勝”是完全正確的。如果網頁是低質量的，比如大量采集相同內容，頁面核心內容空泛，就無法獲得蜘蛛的青睞。

3．網站是否可以正常訪問

網站是否可以正常訪問對搜索引擎來說就是連通度。連通度要求網站不能經常訪問不了，或者訪問速度特別慢。從蜘蛛角度來看，希望能提供給檢索客戶的網頁都是可以正常訪問的頁面，對于服務器反應速度慢或者經常死機的服務器，相關網站肯定會有負面的印象，嚴重的就是逐漸減少爬行，甚至剔除已經收錄的頁面。

在現實中，因為國內的服務器服務比較貴，另外，基于監管的要求，國內網站的建立需要有備案制度，需要經歷網上上傳備案信息等流程，部分中小網站的站長可能會租用國外的服務器服務，比如Godaddy(一家提供域名注冊和互聯網主機服務的美國公司)服務等。不過從國內訪問國外服務器，距離較遠的原因，訪問慢或者死機情況不可避免，從長遠來說，對網站的SEO效果是一個制約。如果要用心經營一個網站，還是盡量采用國內的服務器服務，可以選擇一些服務比較好、界面比較友好的服務器供應商，當前多家公司推出的云服務器就是不錯的選擇。

此外，搜索引擎會依據網站的綜合表現，對網站進行評級，這個評級不能完全等同于權重，但是，評級的高低會影響到蜘蛛對網站的抓取策略。

在抓取頻次方面，搜索引擎一般都提供可以調整抓取頻次設置的工具，SEO人員可以依據實際情況進行調整。對于服務請求比較多的大型網站，可以通過調整頻次的工具來減輕網站的壓力。

在實際抓取過程中，如果遇到無法訪問的抓取異常情況，會導致搜索引擎對網站的評級大大降低，相應影響抓取、索引、排序等一系列SEO效果，最終反饋到流量的損失上。

抓取異常的原因有很多，比如服務器不穩定，服務器一直超負荷運行，或者協議出現了錯誤。因此，需要網站運維人員對網站的運行進行持續跟蹤，確保網站穩定運行。在協議配置上，需要避免一些低級的錯誤，比如Robots的Disallow設置錯誤。曾經有一次，一個公司管理人咨詢SEO人員，問他們委托外部開發人員做好網站后，在搜索引擎怎么都無法搜索到，是什么原因。SEO人員直接在URL，地址欄輸入他的網站Robots地址，赫然發現里面禁止了(Disallow命令)蜘蛛的爬行!

關于網站無法訪問，還存在其他可能，比如網絡運營商異常，即蜘蛛無法通過電信或者網通等服務商訪問到網站；DNS異常，即蜘蛛無法正常解析網站IP，可能是地址錯誤，也可能是域名商封禁，遇到這種情況需要和域名商聯系。還有的可能是網頁的死鏈，比如當前頁面已經失效或者出錯等，可能部分網頁已經批量下線，遇到這種情況，最好的方法是提交死鏈說明；如果是uRL變更導致的舊的URL失效無法訪問，最好設置301跳轉，把舊的URL和相關權重過渡到新的頁面來。當然，也可能是搜索引擎本身負荷過大，臨時封禁。

針對已經抓取回來的數據，接著就是蜘蛛進行建庫的環節。在這個環節里，搜索引擎會依據一些原則對鏈接的重要性進行判斷。一般來說，判斷的原則如下：內容是否原創，如果是，會獲得加權；主體內容是否是鮮明的，即核心內容是否突出，如果是，會獲得加權；內容是否豐富，如果內容非常豐富，會獲得加權；用戶體驗是否好，比如頁面比較流暢、廣告加載少等，如果是，會獲得加權等。

因此，我們在網站日常運營過程中，需要堅持如下幾個原則。

(1)不要抄襲。因為獨特的內容是所有搜索引擎公司都喜歡的，互聯網鼓勵原創。很多互聯網公司希望通過大量采集網絡內容來組織自己的網站，從SEO角度來說，其實是不可取的行為。

(2)在網站內容設計的時候，要堅持主題內容突出，就是要讓搜索引擎爬過來就能知道網頁要表達的內容是什么，而不是在一堆內容里去判斷網站到底是做什么業務的。主題不突出，在很多經營混亂的網站中有典型案例，比如有的小說網站，800字的一章切分到8個頁面，每個頁面大概100字，頁面其余地方都是各種廣告、各種無關內容信息。還有的網站，主體內容是一個frame框架或者AIAX框架，蜘蛛能爬到的信息都是無關內容。

(3)豐富的內容，即內容信息量大，內容的展示模式多樣化。廣告適當就是少嵌入廣告，不要打開網頁滿屏都是花花綠綠的廣告。因為廣告加載時間計算在頁面整體加載時間內，如果廣告加載時間過長，導致頁面無法完全加載，就會造成頁面空而短。同時，針對大量廣告影響用戶體驗方面，百度于2013年5月17日發布公告，宣稱針對低質量網頁推出了‘‘石榴算法”，旨在打擊含有大量妨礙用戶正常瀏覽的惡劣廣告的頁面，尤其是彈出大量低質廣告、存在混淆頁面主體內容的垃圾廣告的頁面。目前部分大型門戶網站從營收的角度考慮，還是懸掛大量的廣告，作為SEO人員，需要考慮這個問題。

(4)保持網頁內容的可訪問性。有些網頁承載了很多的內容，但是使用js、AJAX等方式進行呈現，對搜索引擎來說是無法識別的，這樣就造成網頁內容空而短．使網頁的評級大大下降。

此外，在鏈接的重要程度方面，還有兩個重要的判斷原則：從目錄層級來說，堅持淺層優先原則；從內鏈設計來說，堅持受歡迎頁面優先原則。

所謂淺層優先，即搜索引擎在處理新鏈接、判斷鏈接重要性的時候，會優先考慮URL．更多的頁面，即從uRL組織上離首頁域名更近的頁面。因此，SEO在做重要頁面優化的時候，一定要注意扁平化的原則，盡量縮短URL的中間環節。

既然淺層優先，那么是否可以把所有的頁面平鋪到網站根目錄下，從而選到最好的SEO效果?肯定不是，首先，優先是一個相對的概念，如果把所有的內容都放在根目錄下，就無所謂優先了，重要的內容和不重要的內容沒有任何區分。另外，從SEO角度來說，URL抓取后還用來分析網站的結構，通過URL的組成，大致判斷內容的分組，SEO人員可以通過URL的組成來完成關鍵詞和關鍵詞網頁的組織。

比如可能這個組下的內容都是與教育相關的，如www.abc.com/jiaoyu/1.html。www.abc.com/lvyou/可能這個組下的內容都是與旅游相關的，如www.abc.com/lvyou/1.html

目前在站內的受歡迎程度主要從以下指標反映出來。

?站內導向該頁面的內鏈數量。

?站內通過自然瀏覽行為到達該頁面的PV。

?該頁面的點擊流失率。

因此，從SEO角度來說，如果你需要快速提高一個頁面的搜索排名，可以從受歡迎程度方面做一些工作，如下。

?多從其他頁面做導向該頁面的錨文本，特別是高PR頁面。

?給該頁面取一個吸引人的標題，引導更多自然瀏覽用戶單擊鏈接到達該頁面。

?提高頁面的內容質量，降低頁面的流量率

網頁題目：網站優化影響頁面抓取的幾個重要原因
URL地址：http://m.newbst.com/news26/86226.html

成都網站建設公司_創新互聯，為您提供虛擬主機、移動網站建設、用戶體驗、商城網站、品牌網站設計、網站設計公司

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯