robots的使用方法說明
2023-12-28 分類： 網站建設
搜索引擎支持的robots使用方法記錄包括：
Disallow - 告訴蜘蛛不要抓取某些文件或目錄。如下面robots代碼將阻止蜘蛛抓取所有的網站文件：
User-agent: *
Disallow: /
Allow - 告訴蜘蛛應該抓取某些文件。Allow和Disallow配合使用，可以告訴蜘蛛某個目錄下，大部分都不抓取，只抓取一部分。如下面robots代碼將使蜘蛛不抓取ab目錄下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL結尾的字符。如下面robots代碼將允許蜘蛛訪問以.htm為后綴的URL：
User-agent: *
Allow: .htm$
*通配符 - 告訴蜘蛛匹配任意一段字符。如下面一段robots代碼將禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告訴蜘蛛你的網站地圖在哪里，格式為：
Sitemap:
三家都支持的Meta標簽包括：
NOINDEX - 告訴蜘蛛不要索引某個網頁。
NOFOLLOW - 告訴蜘蛛不要跟蹤網頁上的鏈接。
NOSNIPPET - 告訴蜘蛛不要在搜索結果中顯示說明文字。
NOARCHIVE - 告訴蜘蛛不要顯示快照。
NOODP - 告訴蜘蛛不要使用開放目錄中的標題和說明。
上面這些記錄或標簽，現在三家都共同支持。其中通配符好像以前雅虎微軟并不支持。百度現在也支持Disallow，Allow及兩種通配符。Meta標簽我沒有找到百度是否支持的官方說明。
只有Google支持的Meta標簽有：
UNAVAILABLE_AFTER - 告訴蜘蛛網頁什么時候過期。在這個日期之后，不應該再出現在搜索結果中。
NOIMAGEINDEX - 告訴蜘蛛不要索引頁面上的圖片。
NOTRANSLATE - 告訴蜘蛛不要翻譯頁面內容。
雅虎還支持Meta標簽：
Crawl-Delay - 允許蜘蛛延時抓取的頻率。
NOYDIR - 和NOODP標簽相似，但是指雅虎目錄，而不是開放目錄。
Robots-nocontent - 告訴蜘蛛被標注的部分html不是網頁內容的一部分，或者換個角度，告訴蜘蛛哪些部分是頁面的主要內容（想被檢索的內容）。
MSN還支持Meta標簽：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404錯誤，意味著允許蜘蛛抓取所有內容。但抓取robots.txt文件時卻發生超時之類的錯誤，可能導致搜索引擎不收錄網站，因為蜘蛛不知道robots.txt文件是否存在或者里面有什么內容，這與確認文件不存在是不一樣的。
Disallow - 告訴蜘蛛不要抓取某些文件或目錄。如下面robots代碼將阻止蜘蛛抓取所有的網站文件：
User-agent: *
Disallow: /
Allow - 告訴蜘蛛應該抓取某些文件。Allow和Disallow配合使用，可以告訴蜘蛛某個目錄下，大部分都不抓取，只抓取一部分。如下面robots代碼將使蜘蛛不抓取ab目錄下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL結尾的字符。如下面robots代碼將允許蜘蛛訪問以.htm為后綴的URL：
User-agent: *
Allow: .htm$
*通配符 - 告訴蜘蛛匹配任意一段字符。如下面一段robots代碼將禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告訴蜘蛛你的網站地圖在哪里，格式為：
Sitemap:
三家都支持的Meta標簽包括：
NOINDEX - 告訴蜘蛛不要索引某個網頁。
NOFOLLOW - 告訴蜘蛛不要跟蹤網頁上的鏈接。
NOSNIPPET - 告訴蜘蛛不要在搜索結果中顯示說明文字。
NOARCHIVE - 告訴蜘蛛不要顯示快照。
NOODP - 告訴蜘蛛不要使用開放目錄中的標題和說明。
上面這些記錄或標簽，現在三家都共同支持。其中通配符好像以前雅虎微軟并不支持。百度現在也支持Disallow，Allow及兩種通配符。Meta標簽我沒有找到百度是否支持的官方說明。
只有Google支持的Meta標簽有：
UNAVAILABLE_AFTER - 告訴蜘蛛網頁什么時候過期。在這個日期之后，不應該再出現在搜索結果中。
NOIMAGEINDEX - 告訴蜘蛛不要索引頁面上的圖片。
NOTRANSLATE - 告訴蜘蛛不要翻譯頁面內容。
雅虎還支持Meta標簽：
Crawl-Delay - 允許蜘蛛延時抓取的頻率。
NOYDIR - 和NOODP標簽相似，但是指雅虎目錄，而不是開放目錄。
Robots-nocontent - 告訴蜘蛛被標注的部分html不是網頁內容的一部分，或者換個角度，告訴蜘蛛哪些部分是頁面的主要內容（想被檢索的內容）。
MSN還支持Meta標簽：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404錯誤，意味著允許蜘蛛抓取所有內容。但抓取robots.txt文件時卻發生超時之類的錯誤，可能導致搜索引擎不收錄網站，因為蜘蛛不知道robots.txt文件是否存在或者里面有什么內容，這與確認文件不存在是不一樣的。
網站名稱：robots的使用方法說明
標題URL：http://m.newbst.com/news32/310882.html
成都網站建設公司_創新互聯，為您提供響應式網站、商城網站、云服務器、品牌網站建設、自適應網站、虛擬主機
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 設計趨勢：網站設計中的液態動畫「成都新易設計坊」 2023-12-28
- 公司企業網站建設電話營銷介紹產品話術有哪些？ 2023-12-28
- 提升外貿網站用戶體驗的幾個必要因素 2023-12-28
- 關于成都app開發你必須要知道的O2O的十個標準！ 2023-12-28
- 成都高端網站建設特點是什么？ 2023-12-28
- 移動端網站設計要注意這些 2023-12-28
- 思路很重要！搞定完美配色方案應當思考的八個問題 2023-12-28
