免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
今天又遇到有同學問我關于ROBOTS該如何去寫的問題，這里整理下給大家，其實也都是來源于網路上，注意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。
1、禁止所有搜索引擎訪問網站的任何部分
User-agent:*
Disallow:/
2、允許所有的robot訪問(或者也可以建一個空文件"/robots.txt")
User-agent:*
Allow:/
另一種寫法是
User-agent:*
Disallow:
3、僅禁止Baiduspider訪問您的網站
User-agent:Baiduspider
Disallow:/
4、僅允許Baiduspider訪問您的網站
User-agent:Baiduspider
Allow:/
5、禁止spider訪問特定目錄
在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須
分開聲明，而不能寫成"Disallow:/cgi-bin//tmp/"。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
6、允許訪問特定目錄中的部分url
User-agent:*
Allow:/cgi-bin/see
Allow:/tmp/hi
Allow:/~joe/look
7、使用"*"限制訪問url
禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
User-agent:*
Disallow:/cgi-bin/*.htm
8、使用"$"限制訪問url
僅允許訪問以".htm"為后綴的URL。
User-agent:*
Allow:/.htm$
9、禁止訪問網站中所有的動態頁面
User-agent:*
Disallow:/*?*
10、禁止Baiduspider抓取網站上所有圖片
僅允許抓取網頁，禁止抓取任何圖片。
User-agent:Baiduspider
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
Disallow:/*.bmp$
11、僅允許Baiduspider抓取網頁和gif格式圖片
允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片
User-agent:Baiduspider
Allow:.gif$
Disallow:/.jpg$
Disallow:/.jpeg$
Disallow:/.png$
Disallow:/.bmp$
12、僅禁止Baiduspider抓取jpg格式圖片
User-agent:Baiduspider
Disallow:/.jpg$

分享文章：【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
瀏覽地址：http://m.newbst.com/article25/dghijci.html

成都網站建設公司_創新互聯，為您提供做網站、、小程序開發、品牌網站制作、動態網站、ChatGPT

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

h5響應式網站建設