2013-05-21 分類: 網站建設
作為一名SEO優化者你知道robots文件是用來干什么的么?以及robots文件在編寫有哪些規范和注意事項呢?
robots.txt是用來告訴搜索引擎網站上哪些內容可以被訪問、哪些不能被訪問。當搜索引擎訪問一個網站的時候,它首先會檢查網站是否存在robots.txt,如果有則會根據文件命令訪問有權限的文件。概括下來主要有四點:
1、保護網站安全
2、節省流量
3、禁止搜索引擎收錄部分頁面
4、引導蜘蛛爬網站地圖
關于robots文件的書寫規范,內容如下:
一、robots.txt的寫法與步驟
1、定義搜索引擎
用User-agent:來定義搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。
也就是說User-agent:*表示定義所有蜘蛛,User-agent:Baiduspider表示定義百度蜘蛛。
2、禁止與允許訪問
Disallow: /表示禁止訪問,Allow: /表示允許訪問。
在寫robots.txt時需特別注意的是,/前面有一個英文狀態下的空格(必須是英文狀態下的空格)。
3、禁止搜索引擎訪問網站中文件夾
1)禁止搜索引擎訪問網站中的某幾個文件夾,以a、b、c為例,寫法分別如下:
Disallow: /a/
Disallow: /b/
Disallow: /c/
2)禁止搜索引擎訪問文件夾中的某一類文件,以a文件夾中的js文件為例,寫法如下:
Disallow: /a/*.js
4、只允許某個搜索引擎訪問,以Baiduspider為例,寫法如下:
User-agent: Baiduspider
Disallow:
5、禁止訪問網站中的動態頁面
User-agent: *
Disallow: /*?*
6、只允許搜索引擎訪問某類文件,以”.htm”為后綴的URL為例,寫法如下:
User-agent: *
Allow: /*.htm$
Disallow: /
7、禁止某個搜索引擎抓取網站上的所有圖片,以Baiduspider為例,寫法如下:
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
二、robots.txt文件存放位置
robots.txt文件存放在網站根目錄下,并且文件名所有字母都必須小寫。
三、注意事項
1、在寫robots.txt文件時語法一定要用對,User-agent、Disallow、Allow、Sitemap這些詞都必須是第一個字母大寫,后面的字母小寫,而且在:后面必須帶一個英文字符下的空格。
2、網站上線之前切記寫robots.txt文件禁止蜘蛛訪問網站,如果不會寫就先了解清楚寫法之后再寫,以免給網站收錄帶來不必要的麻煩。
3、robots.txt文件生效時間不定,站長自身無法控制。但是,站長可以在百度統計中查看網站robots.txt文件是否生效。
分享題目:seo必備常識robots文件!
當前地址:http://m.newbst.com/news15/1215.html
成都網站建設公司_創新互聯,為您提供手機網站建設、營銷型網站建設、面包屑導航、定制開發、建站公司、商城網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容