免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

利用百度蜘蛛referer找到報(bào)錯(cuò)頁面入口

2023-06-07    分類: 網(wǎng)站建設(shè)

大家應(yīng)該都知道百度已經(jīng)全站https并取消referer關(guān)鍵詞顯示了,那么“百度蜘蛛referer”又是什么?有什么妙用嗎?藝龍SEO負(fù)責(zé)人劉明發(fā)現(xiàn)通過百度蜘蛛referer可以快速定位部分站內(nèi)url的報(bào)錯(cuò)(4xx或者5xx)原因。隨后社區(qū)版主飛鷹正義也對(duì)文章做了補(bǔ)充修正,現(xiàn)推薦給各位同學(xué)們。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指當(dāng)百度蜘蛛抓取某一個(gè)URL的時(shí)候,在HTTP頭中帶的Referer字段。請(qǐng)注意,這個(gè)定義和百度近聲明去除Referer中關(guān)鍵詞數(shù)據(jù)沒有任何關(guān)系。這次講的是spider發(fā)起的HTTP請(qǐng)求,百度而去除的是用戶發(fā)起的。如果百度蜘蛛抓取百度首頁的logo,會(huì)發(fā)起這樣的請(qǐng)求:

上面Referer字段很明確的表示了他是從www.baidu.com這個(gè)頁面上發(fā)現(xiàn)并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務(wù)器訪問日志中也應(yīng)該能看到相應(yīng)的記錄。目前發(fā)現(xiàn)只有當(dāng)百度抓取一個(gè)網(wǎng)頁的同時(shí),又抓取了網(wǎng)頁中的:img、js和css才會(huì)帶上referer字段。這部分額外的抓取量,應(yīng)該不會(huì)占用百度分配的抓取配額,屬于“買1送1”。

對(duì)于站長的意義

如果你發(fā)現(xiàn)有一批URL(僅限于img,js,css)報(bào)錯(cuò)(4xx或者5xx),但是一直找不到入口在哪,也就是說你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯(cuò)誤URL的。這個(gè)字段可以幫助你迅速定位。

舉個(gè)例子

比如我們的SEO日志分析系統(tǒng)中可以看到,符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報(bào)404。

從發(fā)現(xiàn)問題至今過了1個(gè)月,查遍整個(gè)網(wǎng)站我也沒找到入口。今天偶然仔細(xì)查了一下日志,想起了百度蜘蛛的referer,馬上就能定位問題了。這些404的URL來自于一套沒人維護(hù)也沒人關(guān)注的頁面(往往是這樣)。收錄流量都不錯(cuò)。由于近公司圖片系統(tǒng)更新,圖片的URL全部更改了,但這套頁面并沒有跟著更新。

如果站點(diǎn)沒有記錄referer怎么辦

iis請(qǐng)?jiān)谶@里勾選“cs(Referer)”:

apache請(qǐng)參考:

apache log配置“Combined Log Format”章節(jié)

apache log配置的官方鏈接


Nginx請(qǐng)參考:

nginx log配置

nginx log配置的官方鏈接

結(jié)束語

· 很多SEO問題并不是立即致命的,所以沒有及時(shí)解決。流量就像螞蟻啃大象一樣一點(diǎn)一點(diǎn)啃掉了。

· 系統(tǒng)性的知識(shí)積累還是會(huì)在關(guān)鍵時(shí)刻發(fā)揮作用的。

· 感謝飛鷹對(duì)本文的修正。

分享名稱:利用百度蜘蛛referer找到報(bào)錯(cuò)頁面入口
鏈接地址:http://m.newbst.com/news/263511.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作外貿(mào)建站外貿(mào)網(wǎng)站建設(shè)微信公眾號(hào)移動(dòng)網(wǎng)站建設(shè)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司