robots.txt文件應該放在網站根目錄下，用好robots是很容易為你網站提權的。主要作用是讓搜索引擎抓取什么，不讓搜索引擎抓取什么

一、robots.txt 的寫法：

1. User-agent: *

意思是允許所有搜索引擎收錄，星號代表所有。

2. Disallow:/
意思是禁止搜索引擎收錄頁面。

3. 禁止所有搜索引擎訪問網站的所有部分
User-agent: *
Disallow: /

4. 禁止百度索引你的網站
User-agent: Baiduspider
Disallow: /

5. 禁止Google索引你的網站
User-agent: Googlebot
Disallow: /

6. 禁止除Google外的一切搜索引擎索引你的網站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

7. 禁止除百度外的一切搜索引擎索引你的網站
User-agent: Baiduspider
Disallow:
User-agent: *

Disallow: /

8. 禁止蜘蛛訪問某個目錄
（例如禁止admincssimages被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

9. 允許訪問某個目錄中的某些特定網址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

在SEO優化過程中，對于蜘蛛的了解和控制至關重要，關于robot.txt的寫法還有很多，希望以上這些對大家有幫助。

二、robots.txt 注意事項：
1. 如果你希望搜索引擎收錄網站上所有的內容，那么就不要建立robots.txt文件。
2. 如果同時存在動態和靜態鏈接，那么建議屏蔽動態鏈接。
3. robots.txt只能是屏蔽站內文件的，對站外文件沒有屏蔽功能。
4. User-agent，Allow，Disallow，Sitemap的首字母都是大寫的。
5. User-agent，Allow，Disallow，Sitemap的冒號后面都是有空格的，沒有寫空格直接寫接下來的內容會出錯。
6. 網站通常會屏蔽搜索結果頁面。因為搜索結果頁和正常展示的內容頁相比，標題和內容上相同的，而這兩個頁面鏈接是不同的。那搜索引擎該將這篇文章歸屬于哪個內鏈呢，這樣就會造成內鏈之間相互競爭，造成內部資源損耗。
7. 建議屏蔽js文件。Disallow: /*.js$，以 .js 結尾的路徑統統被屏蔽，這樣就屏蔽了js文件。
8. 路徑是區分大小寫的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。
9. robots.txt會暴露網站相關目錄，寫robots.txt時要考慮到這一點。
10. 有些seo會將文件直接備份在服務器中，文件是 .zip 格式，然后在robots.txt中屏蔽。個人不建議這樣，這就是明顯告訴人家你的備份文件位置。建議文件和數據都備份到本地。
11.必須命名為：robots.txt都是小寫，robot后面加s。

文章標題：robots的寫法,及作用
URL地址：http://m.newbst.com/news48/5698.html

成都網站建設公司_創新互聯，為您提供品牌網站建設、網站改版、ChatGPT、域名注冊、App開發、虛擬主機

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯