會(huì)剖析網(wǎng)站日志的優(yōu)化才是好優(yōu)化，也是最基礎(chǔ)的一步，經(jīng)過(guò)剖析確診能夠了解到網(wǎng)站的健康狀況，使用這些數(shù)據(jù)更有利于開(kāi)展網(wǎng)站SEO優(yōu)化。

經(jīng)過(guò)網(wǎng)站日志能夠清楚的得知用戶在什么IP、什么時(shí)刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下拜訪了你網(wǎng)站的哪個(gè)頁(yè)面，是否拜訪成功。關(guān)于專業(yè)從事搜索引擎優(yōu)化工作者而言，網(wǎng)站日志能夠記載各搜索引擎蜘蛛機(jī)器人匍匐網(wǎng)站的詳細(xì)情況，例如：哪個(gè)IP的百度蜘蛛機(jī)器人在哪天拜訪了網(wǎng)站多少次，拜訪了哪些頁(yè)面，以及拜訪頁(yè)面時(shí)回來(lái)的HTTP狀況碼。

常見(jiàn)的蜘蛛名稱：

Baiduspider：百度蜘蛛

Baiduspider-Image：百度圖片蜘蛛

Googlebot：谷歌機(jī)器人

Googlebot-Image：谷歌圖片機(jī)器人

360Spider：360蜘蛛

sogou spider：搜狗蜘蛛

一、網(wǎng)站日志的作用

1、經(jīng)過(guò)網(wǎng)站日志能夠了解蜘蛛對(duì)網(wǎng)站的基本爬取情況，能夠知道蜘蛛的爬取軌道和爬取量。

2、網(wǎng)站的更新頻率也和網(wǎng)站日志中蜘蛛抓取的頻率有關(guān)，一般來(lái)說(shuō)更新頻率越高，蜘蛛的抓取頻率越高，而咱們網(wǎng)站的更新不僅僅只是新內(nèi)容的添加一起還有咱們的微調(diào)操作。

3、咱們能夠依據(jù)網(wǎng)站日志的反響情況，對(duì)咱們的空間的某些事情和問(wèn)題提前進(jìn)行預(yù)警，由于服務(wù)器假如出問(wèn)題的話在網(wǎng)站日志中會(huì)第一時(shí)刻反映出來(lái)，要知道服務(wù)器的安穩(wěn)速度和翻開(kāi)速度兩者都會(huì)直接影響咱們的網(wǎng)站。

4、經(jīng)過(guò)網(wǎng)站日志咱們能夠知道網(wǎng)站的那些頁(yè)面是很受蜘蛛歡迎的，而哪些頁(yè)面是蜘蛛連碰都不去碰的，一起咱們還能發(fā)現(xiàn)有一些蜘蛛由于是過(guò)度爬取對(duì)咱們的服務(wù)器資源損耗是很大的，咱們要進(jìn)行屏蔽工作。

二、如何下載網(wǎng)站日志

1、首要咱們的空間要支撐網(wǎng)站日志下載，這一點(diǎn)是很重要的，在購(gòu)買空間時(shí)候需事前了解下是否支撐日志下載，由于有的服務(wù)商是不供給這項(xiàng)服務(wù)的，假如支撐的話空間后臺(tái)一般都有日志W(wǎng)ebLog日志下載這個(gè)功能把它下載到根目錄在用FTP傳到本地就能夠，服務(wù)器的話能夠設(shè)置將日志文件下載到指定途徑。

2、這兒有個(gè)很重要的問(wèn)題，網(wǎng)站日志強(qiáng)烈建議設(shè)置成每小時(shí)生成一次，小型的企業(yè)站和頁(yè)面內(nèi)容較少的網(wǎng)站能夠設(shè)置成一天，它默認(rèn)是一天，假如內(nèi)容多或者大型站設(shè)置成一天生成一次，那么一天只生成一個(gè)文件，這個(gè)文件會(huì)相當(dāng)?shù)拇螅蹅冇袝r(shí)電腦翻開(kāi)是會(huì)形成死機(jī)，設(shè)置的話找空間商協(xié)調(diào)設(shè)置即可。

三、網(wǎng)站日志數(shù)據(jù)剖析

1、網(wǎng)站日志中數(shù)據(jù)量過(guò)大，所以咱們一般需求借助網(wǎng)站日志剖析東西來(lái)檢查。常用的日志剖析東西有：光年日志剖析東西、web logexploer、WPS表格等117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1"500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0;Windows NT 5.1; Trident/4.0;AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"剖析：

117.26.203.167拜訪ip;

02/May/2011:01:57:44 -0700拜訪日期 -時(shí)區(qū);GET/index.php HTTP/1.1依據(jù)HTTP/1.1協(xié)議抓取(域名下)/index.php這個(gè)頁(yè)面(GET表明服務(wù)器動(dòng)作);500服務(wù)器呼應(yīng)狀況碼;服務(wù)器呼應(yīng)狀況碼通常狀況碼有以下幾種：200,301,302,304,404,500等。200代表用戶成功的獲取到了所請(qǐng)求的文件，假如是搜索引擎，則證明蜘蛛在這次匍匐中順利的發(fā)現(xiàn)了一些新的內(nèi)容。而301則代表用戶所拜訪的某個(gè)頁(yè)面url現(xiàn)已做了301重定向(永久性)處理，302則是暫時(shí)性重定向。404則代表所拜訪的頁(yè)面現(xiàn)已不存在了，或者說(shuō)拜訪的url根本就是個(gè)過(guò)錯(cuò)的。500則是服務(wù)器的過(guò)錯(cuò)。

19967表明抓取了19967個(gè)字節(jié);

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0;AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar表明拜訪者使用火狐瀏覽器及AlexaToolbar等拜訪端信息;2、假如你的日志里格局不是如此，則代表日志格局設(shè)置不同。

3、很多日志里能夠看到 200 0 0和200 0 64則都代表正常抓取。

4、抓取頻率是經(jīng)過(guò)檢查每日的日志里百度蜘蛛抓取次數(shù)來(lái)獲悉。抓取頻率并沒(méi)有一個(gè)規(guī)范的時(shí)刻表或頻率數(shù)字，咱們一般經(jīng)過(guò)多日的日志比照來(lái)判別,當(dāng)然，咱們希望百度蜘蛛每日抓取的次數(shù)越多越好。

5、有時(shí)候咱們的途徑不一致出現(xiàn)帶斜杠和不帶斜杠的問(wèn)題，蜘蛛會(huì)自動(dòng)識(shí)別為301跳轉(zhuǎn)到帶斜杠的頁(yè)面，這兒咱們就發(fā)現(xiàn)了搜索引擎是能夠判別咱們的目錄的，所以咱們要對(duì)咱們的目錄進(jìn)行一致。

6、咱們剖析日志剖析時(shí)刻長(zhǎng)了，咱們能夠看出蜘蛛的抓取規(guī)則，同一目錄下面的單個(gè)文件的抓取頻率間隔和不同目錄的抓取頻率間隔都能夠看出來(lái)，這些抓取頻率間隔時(shí)刻是蜘蛛依據(jù)網(wǎng)站權(quán)重和網(wǎng)站更新頻率來(lái)自動(dòng)確認(rèn)的。

7、蜘蛛關(guān)于咱們的頁(yè)面的抓取是分等級(jí)的，是依據(jù)權(quán)重依次遞減的，一般順序?yàn)橹黜?yè)、目錄頁(yè)、內(nèi)頁(yè)。

四、經(jīng)過(guò)網(wǎng)站日志咱們能知道什么?

1、咱們買的空間是否能夠安穩(wěn)?

2、蜘蛛對(duì)咱們的那些頁(yè)面比較喜歡而對(duì)哪些不喜歡?

3、蜘蛛什么時(shí)候抓取咱們的網(wǎng)站頻頻，咱們需求什么時(shí)候更新內(nèi)容?

所以不管是新站仍是老網(wǎng)站，不管你做百度仍是Google咱們都能經(jīng)過(guò)網(wǎng)站日志剖析出來(lái)搜索引擎蜘蛛抓取的情況;假如網(wǎng)站長(zhǎng)時(shí)刻收錄有問(wèn)題，那么咱們也能夠比照網(wǎng)站日志中的搜索引擎蜘蛛行為，來(lái)了解網(wǎng)站是哪方面出了問(wèn)題;假如網(wǎng)站被封，或者被K，咱們都能夠經(jīng)過(guò)觀察網(wǎng)站日志的情況來(lái)了解原因出在什么地方。咱們要看的網(wǎng)站日志的剖析和確診就像給網(wǎng)站看病一樣，咱們經(jīng)過(guò)網(wǎng)站日志的剖析，能夠簡(jiǎn)單明了的就知道網(wǎng)站的健康狀況，能夠利于咱們更好的做網(wǎng)站優(yōu)化，所以關(guān)于真實(shí)的SEO高手而言，剖析蜘蛛日志是最直觀，最有效的額。