SEO優化人員在建站的時候會跟robots文件打交道，這個文件是什么?能夠對網站起到什么作用?今天跟著創新互聯SEO來一起了解一下具體內容，幫助你更好的開展搜索優化工作。

通俗的來講robots.txt文件是一個純文本文件，是我們網站和搜索引擎蜘蛛的協議文件，就和合同一樣，在搜索引擎抓取我們網站的時候，會第一個訪問我們網站的robots.txt協議文件，查看我們網站的制定的協議，再進行網站的抓取。

我們怎么查看一個網站是否制作了robots.txt文件呢?

其實很簡單，只要在域名后加上/robots.txt就可以訪問和查看這個網站的robots.txt文件了。如果顯示的是404那么說明這個網站還沒有設置robots.txt協議。

robots.txt文件的作用有哪些呢?

1、robots是搜索引擎蜘蛛抓取網站時，所抓取的第一個文件

2、robots可以屏蔽網站的垃圾和重復頁面

3、robots可以保護網站的隱私防止隱私泄露

4、robots可以讓一些不想要上排名的頁面，使其不參與排名

5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等

如何制作編寫我們網站的robots文件呢?

我們首先要了解robots文件的編寫語法，和注意事項。

(User-agent代表選擇蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)

* 選擇代表所有相關 User-agent: * 所有蜘蛛

Disallow: /(在語句下加上Disallow: /代表禁止抓取)如果要禁止網站根目錄里的一個文件比如a/12/l這個文件那么Disallow: /a/12/l即可。

禁止一個文件夾比如c文件夾里所有的文件Disallow: /a 這樣即可。

不想讓蜘蛛禁止a文件夾里的全部文件，想讓蜘蛛抓取a文件夾里的cl66這個文件Disallow: /aAllow: /a/cl66 這樣即可。

(Allow:代表應許抓取)我們要禁止網站里的圖片，那么如果網站里面有很多圖片，有幾萬個圖片難道我們要一個一個選擇幾萬個圖片禁止嗎?

比如是jpg格式的圖片，Disallow: /*.jpg$ $代表結束符 *代表所有。

如果要屏蔽所有js文件的話Disallow: /*.js$ 這樣即可。

怎么屏蔽網站的動態路徑呢? 如果路徑是 www.cdhuace.com/sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路徑?前面和后面的所有) 。

Disallow: /a 這個是屏蔽以a字母開始的文件及文件夾。

Disallow: /a/ 這個是只屏蔽a文件夾下的所有文件

robots協議文件編寫的注意事項：

1、如果我們網站沒有設置robots.txt協議文件，那么搜索引擎蜘蛛會默認抓取我們網站的所有頁面文件的。

2、robots.txt協議文件的第一個字母要大寫，所有內容要在英文狀態下編寫。

3、robots.txt協議文件放置在我們網站的根目錄中，文件名不能錯，不然搜索引擎蜘蛛抓取不到我們的robots.txt協議文件的，字母的大小也是有限制的，robots.txt的文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。所有的命令之后要有一個英文字符空格。

如果實在嫌robots.txt協議文件編寫比較麻煩，也可以找同行業，查看他們的robots.txt協議文件，進行復制略作修改后，傳輸到網站的更目錄即可。

以上就是robots.txt文件的相關介紹以及編寫教程，這個文件能夠對網站的隱私起到一定的保護作用，對于優化而言是比較必須的一項工作。

新聞標題：做SEO優化 robots文件怎么寫？
網站鏈接：http://m.newbst.com/news14/2714.html

成都網站建設公司_創新互聯，為您提供定制網站、小程序開發、軟件開發、移動網站建設、全網營銷推廣、品牌網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯