2021-11-29 分類: 網(wǎng)站建設(shè)
搜索引擎在抓取網(wǎng)頁的時候,有可能會遇到各種情況。有些頁面抓取成功,有些則抓取失敗。那么,怎么去顯示一個頁面的實際抓取結(jié)果呢?寶雞網(wǎng)站建設(shè)、寶雞網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、網(wǎng)站制作規(guī)劃、寶雞建設(shè)公司逐個為對寶雞網(wǎng)站設(shè)計制作感興趣的朋友進行網(wǎng)站分析、希望可以給寶雞朋友帶來幫助!
這里呢主要是通過返回碼進行示意,代表抓取成功與否還有遇到的問題。比如我們常見的:有時候打開一個頁面,頁面一片空白,上面只顯示一個404。這里的404就是一種返回碼,代表當前抓取的頁面已失效。遇到顯示404的頁面,短期內(nèi)再去搜索,蜘蛛發(fā)現(xiàn)這個URL,也不會再對其進行抓取了。有時候會返回503。
503返回碼代表網(wǎng)站臨時無法訪問,可能是因為網(wǎng)站的服務(wù)器被關(guān)閉或是其他的一些臨時措施而造成網(wǎng)頁無法訪問,一般來說,蜘蛛還會繼續(xù)抓取幾次。如果網(wǎng)站恢復(fù)正常,URL仍然會被當作正常URL處理,但是如果服務(wù)器一直處于不可訪問狀態(tài), 那么搜索引擎就會將這些URL徹底從庫中刪除。這樣就要求我們必須維護網(wǎng)站穩(wěn)定性,盡量避免這種臨時關(guān)閉的情況發(fā)生。返回碼顯示403的話,是禁止訪問狀態(tài),一般來說,同503-樣,被多次訪問仍處于禁止訪問的狀態(tài)的話,就會被搜索引擎刪除。
分享標題:寶雞網(wǎng)站建設(shè)-蜘蛛頁面抓取異常的反應(yīng)
當前路徑:http://m.newbst.com/news/138157.html
網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡(luò)營銷seo公司;服務(wù)項目有網(wǎng)站建設(shè)等
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容