爬蟲陷阱產(chǎn)生的主要原因是網(wǎng)站建設(shè)初期設(shè)計不合理，出現(xiàn)了一些常見的爬蟲陷阱。一旦網(wǎng)站上出現(xiàn)爬蟲陷阱，對搜索引擎不友好，也不利于爬蟲爬行和爬行。那么，我們應(yīng)該從哪些方面檢查網(wǎng)站以及如何避免爬蟲陷阱呢?以下是一些細節(jié)：

1、 框架結(jié)構(gòu)

我只能說，如果你還在你的網(wǎng)站上使用框架結(jié)構(gòu)，那么我建議你盡快取消它。雖然框架結(jié)構(gòu)對網(wǎng)站的維護和更新有一定的方便性。但是，這不利于搜索引擎爬蟲爬行。這也是目前框架結(jié)構(gòu)不流行的原因之一。

2、 閃光燈

一些站長為了使網(wǎng)站的視覺效果精彩，他們把網(wǎng)站作為一個整體進行了塊的flash。但他們不知道這也造成了一個爬蟲陷阱。因為搜索引擎爬蟲只抓取HTML代碼，只是flash文件的鏈接，而沒有文本內(nèi)容。不管你看起來多漂亮，可惜的是搜索引擎看不到它，它不能索引任何文本信息，也不能判斷它的相關(guān)性。因此，我們應(yīng)該盡量避免或減少flash的使用。

3、 JavaScript鏈接

因為JS有很多吸引人眼球的驚人效果，很多站長用JavaScript腳本做一些導(dǎo)航。事實上，JavaScript也是更嚴重的爬蟲陷阱之一。

當(dāng)然，有些搜索引擎可以在JavaScript上獲取鏈接，甚至可以執(zhí)行腳本并跟蹤鏈接。但是，對于一些權(quán)重較低的網(wǎng)站，沒有必要浪費時間。更新一些高質(zhì)量的文章，多做外鏈。

4、 會話ID

如果我們的網(wǎng)站使用sessionid來跟蹤用戶的訪問量，就會出現(xiàn)這種現(xiàn)象。會出現(xiàn)什么樣的現(xiàn)象?每次搜索引擎訪問我們的頁面時，都會出現(xiàn)一個不同的sessionid。即使訪問同一個頁面，也會有不同的ID，但是內(nèi)容是一樣的，這就形成了大量重復(fù)內(nèi)容形成了爬蟲陷阱，也不利于網(wǎng)站的優(yōu)化。因此，我們通常建議您使用cookies而不是生成會話id。

5、 動態(tài)URL

所謂動態(tài)URL是指帶有問號、等號和一些參數(shù)的URL。一般來說，動態(tài)URL不利于爬蟲爬行，我們應(yīng)該避免。

6、 各種各樣的跳躍

搜索引擎對跳轉(zhuǎn)比較敏感。不如：301跳轉(zhuǎn)、302跳轉(zhuǎn)、JavaScript跳轉(zhuǎn)、flash跳轉(zhuǎn)、metarefresh跳轉(zhuǎn)等。

如果你必須跳轉(zhuǎn)，搜索引擎仍然建議使用301轉(zhuǎn)。其他跳轉(zhuǎn)方式對搜索引擎不好，因為一些黑帽子SEO經(jīng)常用來欺騙搜索引擎和用戶。所以除非必要，否則不要使用其他跳躍動作。

7、 要求登錄

他不會填寫用戶名、密碼、驗證碼。那你的內(nèi)容就不會被他發(fā)現(xiàn)了。

8、 強制使用Cookie

有些網(wǎng)站只想記住用戶的登錄信息、跟蹤訪問路徑等，并強迫他們使用cookies。如果Internet用戶的瀏覽器未啟用cookies，則此頁面將無法正常顯示。簡而言之，強制使用cookies只會導(dǎo)致搜索引擎爬蟲無法正確訪問它們。

分享標(biāo)題：如何避免SEO網(wǎng)站優(yōu)化中的爬蟲陷阱?
標(biāo)題來源：http://m.newbst.com/news6/87906.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、服務(wù)器托管、外貿(mào)網(wǎng)站建設(shè)、定制開發(fā)、網(wǎng)站收錄、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)