免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

robots.txt文件用法舉例

2022-06-04    分類: 網站建設

1、禁止所有搜索引擎訪問網站的任何部分

  User-agent: *

  Disallow: /

  2、允許所有的robot訪問(或者也可以建一個空文件 "/robots.txt")

  第1種寫法

  User-agent: *

  Allow: /

  第2種寫法

  User-agent: *

  Allow:

  第3種寫法

  User-agent: *

  Disallow:

  3、僅禁止Baiduspider訪問您的網站

  User-agent: Baiduspider

  Disallow: /

  4、僅允許Baiduspider訪問您的網站

  User-agent: Baiduspider

  Allow: /

  5、禁止spider訪問特定目錄

  在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即robot不會訪問這三個目錄。

  需要注意的是對每一個目錄必須分開聲明,而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6、允許訪問特定目錄中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  7、使用"*"限制訪問url

  禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8、使用"$"限制訪問url

  僅允許訪問以".htm"為后綴的URL。

  User-agent: *

  Allow: / .htm$

  9、禁止訪問網站中所有的動態頁面

  User-agent: *

  Disallow: /*?*

  10、禁止Baiduspider抓取網站上所有圖片,僅允許抓取網頁,禁止抓取任何圖片。

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /* .jpeg$

  Disallow: /* .gif$

  Disallow: /* .png$

  Disallow: /*.bmp$

  11、僅允許Baiduspider抓取網頁和。gif格式圖片允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: /.jpg$

  Disallow: / .jpeg$

  Disallow: / .png$

  Disallow: /.bmp$

  12、僅禁止Baiduspider抓取,jpg格式圖片。

  User-agent: /Baiduspider

  Disallow: /.jpg$

  附件:百度各個產品使用不同的user-agent

  無線搜索 Baiduspider-mobile

  圖片搜索 Baiduspider-image

  視頻搜索 Baiduspider-video

  新聞搜索 Baiduspider-news

  百度搜藏 Baiduspider-favo

  百度聯盟 Baiduspider-cpro

  商務搜索 Baiduspider-ads

  網頁以及其他搜索 Baiduspider

名稱欄目:robots.txt文件用法舉例
文章鏈接:http://m.newbst.com/news26/163226.html

成都網站建設公司_創新互聯,為您提供網站設計做網站響應式網站定制網站微信小程序靜態網站

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

小程序開發