影響蜘蛛爬行并最終影響到頁面收錄結(jié)果主要有幾個(gè)方面的原因：

1、網(wǎng)站的更新情況

一般來說,網(wǎng)站更新很快,蜘蛛就會(huì)更快地抓取網(wǎng)站的內(nèi)容。如果網(wǎng)站的內(nèi)容很長時(shí)間都沒有任何的更新,蜘蛛也會(huì)相應(yīng)調(diào)整對(duì)網(wǎng)站的爬行頻率。更新頻率對(duì)新聞等網(wǎng)站來說很關(guān)鍵。因此,保持每天定的更新數(shù)量,對(duì)吸引蜘蛛是非常重要的。

2、網(wǎng)站內(nèi)容的質(zhì)量

對(duì)于低質(zhì)量的頁面,搜索引擎一直是打擊的,因此,創(chuàng)建高質(zhì)量的內(nèi)容,對(duì)于吸引蜘蛛是非常關(guān)鍵的,從這個(gè)角度來說,“內(nèi)容制勝”是完全正確的。如果網(wǎng)頁是低質(zhì)量的,比如大量采集相同內(nèi)容,頁面核心內(nèi)容空泛,就無法獲得蜘蛛的青睞。

3、網(wǎng)站是否可以正常訪問

網(wǎng)站是否可以正常訪問對(duì)搜索引擎來說就是連通度。連通度要求網(wǎng)站不能經(jīng)常訪問不了,或者訪問速度特別慢。從蜘蛛角度來看,希望能提供給檢索客戶的網(wǎng)頁都是可以正常訪冋的頁面,對(duì)于服務(wù)器反應(yīng)速度慢或者經(jīng)常死機(jī)的服務(wù)器,相關(guān)網(wǎng)站肯定會(huì)有負(fù)面的印象,嚴(yán)重的就是逐漸減少爬行,甚至剔除已經(jīng)收錄的頁面。

在現(xiàn)實(shí)中,因?yàn)閲鴥?nèi)的服務(wù)器服務(wù)比較貴,另外,基于監(jiān)管的要求,國內(nèi)網(wǎng)站的建立需要有備案制度,需要經(jīng)歷網(wǎng)上上傳備案信息等流程,部分中小網(wǎng)站的站長可能會(huì)租用國外的服務(wù)器服務(wù),比如Godaddy(一家提供域名注冊(cè)和互聯(lián)網(wǎng)主機(jī)服務(wù)的美國公司)服務(wù)等。不過從國內(nèi)訪問國外服務(wù)器,距離較遠(yuǎn)的原因,訪問慢或者死機(jī)情況不可避免,從長遠(yuǎn)來說,對(duì)網(wǎng)站的SEO效果是一個(gè)制約。如果要用心經(jīng)營一個(gè)網(wǎng)站,還是盡量采用國內(nèi)的服務(wù)器服務(wù),可以選擇一些服務(wù)比較好、界面比較友好的服務(wù)器供應(yīng)商,當(dāng)前多家公司推出的云服務(wù)器就是不錯(cuò)的選擇。

在抓取頻次方面,搜索引擎一般都提供可以調(diào)整抓取頻次設(shè)置的工具,SEO人員可以依據(jù)實(shí)際情況進(jìn)行調(diào)整。對(duì)于服務(wù)請(qǐng)求比較多的大型網(wǎng)站,可以通過調(diào)整頻次的工具來減輕網(wǎng)站的壓力在實(shí)際抓取過程中,如果遇到無法訪問的抓取異常情況,會(huì)導(dǎo)致搜索引擎對(duì)網(wǎng)站的評(píng)級(jí)大大降低,相應(yīng)影響抓取、索引排序等一系SEO效果。

抓取異常的原因有很多,比如服務(wù)器不穩(wěn)定,服務(wù)器一直超負(fù)荷運(yùn)行,或者協(xié)議出現(xiàn)了錯(cuò)誤。因此,需要網(wǎng)站運(yùn)維人員對(duì)網(wǎng)站的運(yùn)行進(jìn)行持續(xù)跟蹤,確保網(wǎng)站穩(wěn)定運(yùn)行。在協(xié)議配置上,需要避免一些低級(jí)的錯(cuò)誤,比如 Robots的 Disallow設(shè)置錯(cuò)誤。曾經(jīng)有一次,一個(gè)公司管理人咨詢SEO人員,問他們委托外部開發(fā)人員做好網(wǎng)站后,在搜索引擎怎么都無法搜索到,是什么原因。SEO人員直接在URL地址欄輸入他的網(wǎng)站 Robots地址,赫然發(fā)現(xiàn)里面禁止了( Disallow命令)蜘蛛的爬行。

關(guān)于網(wǎng)站無法訪問,還存在其他可能,比如網(wǎng)絡(luò)運(yùn)營商異常,即蜘蛛無法通過電信或者網(wǎng)通等服務(wù)商訪問到網(wǎng)站;DNS異常,即蜘蛛無法正常解析網(wǎng)站P,可能是地址錯(cuò)誤,也可能是域名商封禁,遇到這種情況需要和域名商聯(lián)系。還有的可能是網(wǎng)頁的死鏈,比如當(dāng)前頁面已經(jīng)失效或者出錯(cuò)等,可能部分網(wǎng)頁已經(jīng)批量下線,遇到這種情況好的方法是提交死鏈說明;如果是URL變更導(dǎo)致的舊的URL失效無法訪問,好設(shè)置301跳轉(zhuǎn),把舊的URL和相關(guān)權(quán)重過渡到新的頁面。

當(dāng)然,也可能是搜索引擎本身負(fù)荷過大,臨時(shí)封禁。針對(duì)已經(jīng)抓取回來的數(shù)據(jù),接著就是蜘蛛進(jìn)行建庫的環(huán)節(jié)。在這個(gè)環(huán)節(jié)里,搜索引擎會(huì)依據(jù)一些原則對(duì)鏈接的重要性進(jìn)行判斷。一般來說,判斷的原則如下:內(nèi)容是否原創(chuàng),如果是,會(huì)獲得加權(quán);主體內(nèi)容是否是鮮明的,即核心內(nèi)容是否突出,如果是,會(huì)獲得加權(quán);內(nèi)容是否豐富,如果內(nèi)容非常豐富,會(huì)獲得加權(quán);用戶體驗(yàn)是否好,比如頁面比較流暢、廣告加載少等,如果是,會(huì)獲得加權(quán)等。

網(wǎng)頁標(biāo)題：影響頁面抓取的幾個(gè)重要原因
網(wǎng)頁路徑：http://m.newbst.com/news/223381.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站、微信小程序、定制開發(fā)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)