什么是robots?

成都創新互聯公司主要從事網站建設、做網站、網頁設計、企業做網站、公司建網站等業務。立足成都服務云安,十年網站建設經驗,價格優惠、服務專業,歡迎來電咨詢建站服務:13518219792

robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當搜索來爬行網站時候，會先看網站里有沒有robots這個文件，如果有這個文件，會按照robots文件給的爬行規則進行網站的爬取。
為什么要用robots?
網站為了seo網站優化肯定會有部分頁面不想被搜索抓取和收錄，如“聯系我們”“廣告合作”這時就會用到robots，來屏蔽搜索的爬取和收錄。
robots的基本寫法
1、允許所有搜索引擎訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意，可以最直接的建一個空文件 “robots.txt”然后放到網站的根目錄。
2、禁止所有搜索引擎訪問
User-agent: *
Disallow: /
或者
User-agent: *
allow:
3、禁止所有搜索引擎訪問網站中的幾個部分，在這里我用a、b、c目錄來代替
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
如果是允許，則是
Allow: /a/
Allow: /b/
Allow: /c/
4、禁止某個搜索引擎的訪問，我用w來代替
User-agent: w
Disallow: /
或
User-agent: w
Disallow: /d/*.htm
在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。
5、只允許某個搜索引擎的訪問，我用e來代替
User-agent: e
Disallow:
在Disallow：后面不加任何東西，意思是僅允許e訪問該網站。
6、使用”$”限制訪問url
User-agent: *
Allow: .htm$
Disallow: /
意思是僅允許訪問以”.htm”為后綴的URL
7、禁止訪問網站中所有的動態頁面
User-agent: *
Disallow: /*?*
8、禁止搜索引擎F抓取網站上所有圖片
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
意思是只允許引擎抓取網頁，禁止抓取任何圖片(嚴格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)
9、只允許搜索引擎E抓取網頁和.gif格式圖片
User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
意思是只允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片
針對seo的robots高級寫法
頂級seo高手robots.txt的寫法
robots使用時的注意點
robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。
針對新手使用robots
百度站長平臺剛升級了robots
可以檢測你自己制作的robots規則是否能生效。當然基本的robots寫法你要懂，推薦中國推廣學院卡卡老師的視頻教程：robots.txt寫法
這樣只需掌握robots的基礎寫法，就能寫出高級robots。

網站標題：seo基礎robots寫法及robots高級玩法
網站網址：http://m.newbst.com/article34/dghiipe.html

成都網站建設公司_創新互聯，為您提供軟件開發、微信小程序、虛擬主機、ChatGPT、網站制作、面包屑導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯