如何查看蜘蛛訪問網站的記錄

對于很多做網站的新手來說，都沒有經過系統地授課進行網絡技術和建站知識學習，做網站都是靠自學，遇到難題在論壇發帖提問，更不會懂得網站優化，對于較基本操作——通過網站日志看蜘蛛來訪情況都不知到哪里看，怎么看。前兩天看到很多人發帖提問，回復者的答案卻比較精煉，不具體，提問者還是云里霧里的，現我就以自己的網站來系統地操作一次，提交給大家參考，有說錯的地方，請批評指正。

為通州等地區用戶提供了全套網頁設計制作服務，及通州網站建設行業解決方案。主營業務為網站設計制作、成都網站制作、通州網站設計，以傳統方式定制建設網站，并提供域名空間備案等一條龍服務，秉承以專業、用心的態度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

1、打開FTP登錄軟件，我用的是FlashFXP，登錄空間FTP

登錄FTP后，你會發現根目錄下有一個wwwlogs文件夾，（有的是weblog，注：不同的服務器空間生成的日志文件目錄名稱不一樣，僅供參考，一般文件夾中包含Log字符的就是日志文件夾）。

2、打開wwwlogs文件夾后，里面有一些以日期格式特征為文件名的.gz后綴結尾的文件，這些就是我們需要下載到本地的日志文件。

3、下載到電腦桌面后，解壓縮打開，里面是一個記事本格式的文件，打開文件，看到的是下圖這樣的代碼，我下載的是3月7日的那個文件。

4、分析代碼

上圖1是百度蜘蛛的IP地址；

2是蜘蛛來訪日期時間（2012年3月6日1時21分22秒），3月7日的日志文件記錄的是從3月6日凌晨開始，至3月7日1時11分39秒整個時間段的n多次來訪記錄）；

3是百度蜘蛛baiduspider

4是我網站被訪問的網頁地址；

5是sogou 搜狗蜘蛛的來訪，同樣也能看到時間和被訪網頁。

如果是簡單的查看，您可以在記事本中搜索baiduspider ，如果想精確分析，可借助一些專用的分析軟件。分析下哪些時間段百度蜘蛛來的最頻繁，那么我們就在這個時間段更新我們的網站內容，很容易被百度收錄的。

通過分析蜘蛛來訪紀錄，可以了解本站的大體情況，而不用再為百度不放出內頁或者不收錄的問題而苦惱了。

蜘蛛來訪正常，可以確切的說，搜索引擎對你的站很友好的，堅持更新自己的網站，會有不錯的收錄的。

注：有些共享IP空間可能不支持日志功能，對于獨立ip虛擬主機則提供每天的日志下載，而實在沒有可以日志功能的空間可以參考使用蜘蛛爬行插件的一些方法進行分析。

如何通過sitemap網站地圖來吸引蜘蛛爬行

通過sitemap網站地圖吸引蜘蛛爬行的方式主要有以下幾點：

1、什么是 sitemap

簡單理解：sitemap 就是網站地圖，它通過可視化的形式，展示網站的主要結構比如：列表頁、分類頁、tag 頁，以及內容頁面。

網站地圖的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情況下這三種形式的

sitemap網站地圖，主要被存放在：

① 網站前端頁面

通常眾多站長喜好將 sitemap.html

類型的網站地圖，存放在前端頁面，經常被放在網站導航中，用于向訪客清晰的展示網站的結構框架，突出眾多欄目。

在頁面相對較多的網站，理論上它會出現多個 sitemap.html 用于展現不同專題的內容結構。

② 網站 Robots.txt 中

理論上 sitemap.xml 與 sitemap.txt 經常被存放在 Robots.txt

文件中，用于百度蜘蛛快速抓取，當然也可以做百度網址提交，加快頁面收錄。

具體有關 sitemap 配置的方法，你可以參考百度官方《平臺工具使用幫助》中，鏈接提交的說明。

2、網站地圖制作方法：

網站地圖制作的方法有很多，通常來講主要包括如下幾個方面：

① 程序插件

一般情況下，知名的 cms 系統，都會配有 sitemap 網站地圖生成插件，你需要在相應的應用市場去查詢相關插件，并開啟他們，比如：wordpress

插件、zblog 插件和 dedecms 織夢插件等，當然你也可以聘用技術人員，獨立開發一個插件，性價比還是蠻高的。

② sitemap 生成器

目前市面上有很多在線生成 sitemap 的網站，以及客戶端，比如：愛站網的 SEO 工具包，對于一些技術能力不強的小伙伴，還是很有幫助。

③ 手動生成

如果你在操作一個獨立博客，每日更新的內容并不是特別多，比如在 10 篇以下，那么你完全可以手動添加 sitemap，如果你想在簡單一點，你只需要選擇

sitemap.txt，把 URL 網址復制到這個文本文件中就可以。

3、如何提交網站地圖

通常向百度提交 sitemap 網站地圖的方法很簡單，你只需要登錄百度搜索資源平臺，你就會在：

網站支持-數據引用-鏈接提交中

怎么查看百度蜘蛛有沒有來過我的網站

判斷蜘蛛有沒有來過自己的網站可以查看IIS日志代碼。 或者聯系空間商開通了蜘蛛訪問記錄也可以。如果你的空間商給你的空間支持查詢蜘蛛訪問記錄的話。可以在ftp找到WebLog的文件夾，具體步驟如下：1. 打開FTP登陸軟件(這里以FlashFxp為例),登陸你的空間FTP。登陸進FTP后,你會發現在根目錄下有一個WebLog的文件夾 (注:不同的IDC空間生成的日志文件目錄名稱不一樣,僅供參考.一般文件夾中包含Log字符的都是日志文件夾) 2.打開WebLog目錄后,里面有一些以日期格式特征為文件名的.gz后綴結尾的文件.這些就是我們需要下載到本地的日志文件. 3.打開壓縮文件,發現里面只有一個以.log結尾的日志文件,我們需要的就是這個文件了. 4.解壓后,打開日志文件.Ctrl+F查找baidu.com/search 特征字符(這里以百度蜘蛛為例) 通過分析蜘蛛來訪紀錄,可以了解本站的大體情況,而不用再為百度不放出內頁或者不收錄的問題而苦惱了. 蜘蛛來訪正常,可以確切的說,搜索引擎對你的站很友好的,堅持更新自己的網站,會有不錯的收錄的.注:有些共享IP空間可能不支持日志功能.對于獨立ip虛擬主機則提供每天的日志下載.而實在沒有可以日志功能的空間可以參考使用 蜘蛛爬行插件 的一些方法進行分析.

怎么查看網站被百度蜘蛛抓取的情況

百度用于抓取網頁的程序叫做Baiduspider - 百度蜘蛛，我們查看網站被百度抓取的情況主要是分析，網站日志里百度蜘蛛Baiduspider的活躍性：抓取頻率，返回的HTTP狀態碼。

查看日志的方式：

通過FTP，在網站根目錄找到一個日志文件，文件名一般包含log，下載解壓里面的記事本，這即是網站的日志，記錄了網站被訪問和操作的情況。

因為各個服務器和主機的情況不同，不同的主機日志功能記錄的內容不同，有的甚至沒有日志功能。

日志內容如下：

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+)"

分析：

GET /bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 這個頁面。

200 代表成功抓取。

8450 代表抓取了8450個字節。

如果你的日志里格式不是如此，則代表日志格式設置不同。

很多日志里可以看到 200 0 0和200 0 64 則都代表正常抓取。

抓取頻率是通過查看每日的日志里百度蜘蛛抓取次數來獲知。抓取頻率并沒有一個規范的時間表或頻率數字，我們一般通過多日的日志對比來判斷。當然，我們希望百度蜘蛛每日抓取的次數越多越好。

網站欄目：zblog百度蜘蛛查詢 百度蜘蛛抓取查詢
分享地址：http://m.newbst.com/article10/doihcgo.html

成都網站建設公司_創新互聯，為您提供網站設計、企業網站制作、網站收錄、Google、微信小程序、軟件開發

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯