Robots.txt 是你穿告訴搜索機器人哪些頁面你會喜歡他們不能夠訪問您的網站的文本 （而不是 html) 文件。 Robots.txt 是不是強制性的搜索引擎，但是搜索引擎一般遵守他們都問什么不該做。 務必要澄清 robots.txt 不從防止搜索引擎抓取您的網站 （即它是不一的防火墻或密碼保護的一種） 的一種方法，您放置一個 robots.txt 文件的事實是有點像把一條注釋"請不要輸入"一個解鎖的門 — — 上如不能防止小偷進來，但好人，將不打開門，然后輸入。 也就是為什么我們說是否真的有森 sitive 數據，是太依賴 robots.txt，以防止被索引，并顯示在搜索結果的不完善。

robots.txt 的位置是非常重要的。 它必須是主目錄中，因為否則用戶代理 （搜索引擎) 不會能夠找到它 — — 他們不中搜索名為 robots.txt 的文件的整個站點。 相反，他們首先主目錄 （如 http://mydomain.com/robots.txt） 中查找和他們那里找不到它，如果他們只是假定此站點沒有 robots.txt 文件，因此他們索引他們發現路上的一切。 因此，如果你不穿 robots.txt 中適當的位置，不要驚訝搜索引擎索引了您的整個站點。

概念與結構的 robots.txt 已發展了十多年前，如果您有興趣進一步了解它，請訪問 http://www.robotstxt.org/ 或因為這篇文章中，我們會處理只與一個 robots.txt 文件的最重要的環節，您可以轉到 標準的機器人排除 直。 下一步我們會與結構繼續 robots.txt 文件。

Robots.txt File 的結構
一個 robots.txt 的結構是相當簡單 （和幾乎不能靈活) – 它是用戶代理和不允許的文件和目錄的一個無窮列表。 基本上，語法如下所示：

用戶代理:

不允許：

"用戶代理" 是搜索引擎的抓取工具和 不允許： 列出的文件和要從索引中排除的目錄。 在"用戶代理："和"不允許："條目，您可以包含注釋行 – 只是在行的開頭放置，# 號：

# 所有用戶代理不都允許以查看該 /temp 目錄。

用戶代理： *

不允許： /temp/

Robots.txt File 的陷阱
當你開始做復雜的文件 – 即您決定允許不同的用戶代理訪問不同的目錄 – 可以開始問題，如果你沒有支付費用的 robots.txt 文件陷阱，特別重視。 常見的錯誤包括打字錯誤和有沖突的指令。 拼寫錯誤的用戶-代理后用戶代理和 Disallow，, 缺少冒號的目錄包括拼寫錯誤等。 打字錯誤可以很難找到，但在某些情況下驗證工具的幫助。

更嚴重的問題是有邏輯錯誤。 例如：

用戶代理： *

不允許： /temp/

用戶代理： Googlebot

不允許： /images/

不允許： /temp/

不允許： /cgi-bin /

上面的示例中是一個允許訪問除在 /temp 站點上的所有內容的所有代理的 robots.txt 從目錄。 達在這里很好，但更高版本在那里是另一個記錄，為 Googlebot 指定限制性更強的條款。 Googlebot 開始讀取 robots.txt，它會看到所有文件夾除外/temp/并都允許的 （包括 Googlebot 本身） 的所有用戶代理。 這是足夠的了解，它不會讀到文件和一切除了 /temp/-包括 /images/ 和 /cgi-bin，會索引 /，你認為你已經告訴它不要 Googlebot。 你看到一個 robots.txt 文件結構的簡單但仍嚴重的錯誤可以方便地進行。

用于生成和驗證 Robots.txt 文件工具
記住，你可以有一個 robots.txt 文件的簡單語法，您可以始終閱讀這一切都是可以的但它是更易于使用驗證程序類似這樣： http://tool.motoricerca.info/robots-checker.phtml。 這些工具報告有關常見的錯誤，如缺少斜杠或冒號，檢測不到的如該會危及你的努力。 為例如果您鍵入：

user-agent: *

不允許： /temp/

這是錯誤的因為有"用戶"和"代理"之間沒有斜杠和語法不正確。

在這種情況下當您有一個復雜的 robots.txt 文件 – 即你給不同的用戶代理的不同指令或您有一長串的目錄和子目錄中排除，編寫文件手動可以一個真正的痛苦。 但不用擔心，— — 有的工具，將為您生成該文件。 什么是更多有允許選擇哪些文件，并點的可視化工具，是要排除的文件夾。 即使你不喜歡為 robots.txt 代買一個圖形化的工具，但在在線工具為您提供幫助。 為例 服務器端機器人發電機 提供的用戶代理的下拉列表，您可以列出文件的文本框，您不希望建立索引。 坦白的說，它不好幫了除非您想要設置特定的規則，為不同的搜索引擎，因為在任何情況下，您鍵入的目錄列表，但不只是什么。

本文由網站建設公司創新互聯發布，轉載請注明文章出處！

標題名稱：Robots.txt 是什么?
URL鏈接：http://m.newbst.com/news36/14736.html

成都網站建設公司_創新互聯，為您提供品牌網站建設、網站排名、微信小程序、網站改版、Google、移動網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯