服務器是網站生存的基礎，不論是什么原因造成的服務器封禁，都直接影響蜘蛛的抓取，影響網站的用戶體驗，不利于seo工作的展開。我其將以自己的親身經歷，結合網絡上一些朋友對這類問題的分析，總結出造成服務器封禁的三點主要原因：

1、人為操作失誤

對搜索引擎蜘蛛認識不夠，對一些冒充搜索引擎spider的IP無法正確判斷，繼而誤封搜索引擎IP。這樣會導致搜索引擎不能成功抓取網站，無法成功抓取新網頁，以及將之前已經成功抓取并收錄的頁面判定為無效鏈接，然后搜索引擎將會對這些死鏈接進行清除，繼而網站頁面收錄減少，最終導致網站在搜索引擎的排名下降。

解決方法：正確認識各搜索引擎蜘蛛，而搜索引擎使用的 IP 地址會隨時發生變化，為確保能夠正確識別各搜索引擎IP，您可以使用DNS反查方式來確定抓取來源的IP是否屬于正規搜索引擎，防止誤封。

2、服務器不穩定

現在的服務器多如牛毛，價格也各不相同，質量方面也是相差甚遠，站長們往往在選擇的時候都是“只認價不認質”， 有的空間商為了節省資源，故意屏蔽掉spider（蜘蛛）的IP，導致spider抓取失敗，網站頁面就無法被搜索引擎收錄。

解決方法：選擇有實力的正規空間商，盡可能保證您的網站穩定。服務器和空間的穩定性需要一定的技術實力來保障，一些沒有實力的空間商，可能無力提供良好的服務，服務的穩定性無法保證。我們可以很形像的打個比喻：如果將“人”比喻為網站內容，那么服務器就是我們的“家”，它為我們擋風避雨，為我們的生存提供了一個優良的環境，而服務器的好壞將影響我們所能承受的風險。我想，誰都不愿意住在沒有安全保障的屋子里，拿自己的生命開玩笑，同理，網站也是如此！如果您現在的服務器不理想，有必要另選時，請暫時讓舊服務器能夠使用一段時間，并且做301跳轉，盡量減少更換服務器帶來的一系列損失。

3、保護性的偶然封禁

1、如果網站的訪問量過大，超過自身負荷，服務器會根據自身負荷進行保護性的偶然封禁。這種封禁是短暫性的，只要訪問量下降到服務器的承受范圍之內，那么服務器就會正常工作。

2、還有一種情況是spider造成的，搜索引擎為了達到對目標資源較好的檢索效果，蜘蛛需要對您的網站保持一定量的抓取。搜索引擎會根據服務器承受能力，網站質量，網站更新等綜合因素來進行調整， 建立一個合理的站點抓取壓力。但是會有一些例外，在壓力控制不好的情況下，服務器會根據自身負荷進行保護性的偶然封禁。

解決方法：1、如果是訪問量造成的壓力，那么恭喜你，說明你的網站已經擁有可觀的訪問人數，我們就應該升級服務器，來滿足不段增長的訪問量。2、如果是spider造成的，我們可以采用如下方式來減輕spider對服務器產生的壓力：A、利用robots文件，屏蔽掉不想被spider抓取的頁面。B、采用nofollow標簽，屏蔽不想被spider爬行的鏈接。C、頁面中較長的CSS、JS代碼移到外部文件。D、刪減多余代碼。應當注意的是，以上兩種情況在返回的代碼中盡量不要使用404，建議返回503（其含義是“Service Unavailable”）。這樣spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了。

文章題目：蜘蛛抓取失敗的原因有那些，服務器導致蜘蛛抓取失敗的原因
文章源于：http://m.newbst.com/news13/162163.html

成都網站建設公司_創新互聯，為您提供自適應網站、搜索引擎優化、軟件開發、靜態網站、品牌網站建設、手機網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯