2020-01-30 分類: 網站建設
所有的全文搜索引擎都表示自己的Spider對網站的抓取行為和網站用戶的訪問行為沒有太大區別,站在網站用戶的角度這句話的確沒有問題,但是站在站長和SEO的角度這句話就不太對了。網頁上有很多東西網站用戶看不到也分辨不清,但是Spider可以;網頁上也有很多東西網站用戶可以看到并分辨清楚,但是Spider不可以。可以說Spider是一個既聰明又弱智的網站用戶,Spider有著網站用戶訪問行為的大部分特性,但是也有不少差異。
1、Spider可以分辨出網頁中是否有隱藏內容,是否被掛了黑鏈等,但是不能完全了解網頁中圖片的內容,更不能讀取JavaScript、Iframe、Ajax和Flash中的內容,網站用戶卻是恰恰相反;
2、Spider沒有Referer,對網站的抓取全部都是直接訪問,而網站用戶中除了直接訪問的用戶外一般都是有Referer的;
3、Spider對網站的訪問沒有Cookie,但是網站用戶是有的;
4、Spider不會主動注冊登入網站,但是網站用戶是可以的;原則上Spider不會抓取和分析網站robots中已經屏蔽的內容,但是網站用戶是可以正常訪問的;
5、Spider對于有多個動態參數網站的抓取,可能會陷入死循環,但是網站用戶是不會的;
6、Spider對于列表中前幾頁的新內容抓取可能不好,但是感興趣的網站用戶會依次瀏覽;
7、Spider暫時還不能真正判斷文章是不是原創,但是網站用戶可以通過多種方式來確定文章是原創還是采集轉載等。
Spider畢竟是人為技術驅動的程序,與網站用戶還是有著非常大的區別的,因此給了站長和SEO人員很大的操作空間。站長和SEO人員在充分了解到Spider和網站用戶的區別后,可以更方便地優化網站,使得網站內容被充分抓取,網站整體在搜索引擎中有個良好的表現;同時也可以利用兩者的區別,使得在不影響搜索引擎抓取和排名的情況下,給網站用戶更友好的用戶體驗,比如,判斷用戶Referer給用戶推薦內容等;當然,不排除有些站長和SEO人員會利用這些區別,采用很多極端的技術作弊手法,在網站用戶感覺不到的地方,誤導Spider對網站內容的判斷,而惡意搶奪很多本不應該得到的搜索流量,這是不可取的。無論如何,都有必要深入了解兩者的差異。
當前文章:網站用戶與搜索引擎蜘蛛的區別
地址分享:http://m.newbst.com/news/81293.html
成都網站建設公司_創新互聯,為您提供網站設計公司、標簽優化、關鍵詞優化、建站公司、網站建設、電子商務
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容