robots.txt的作用是什么？在網站內部優化中有很多細節優化要注意，這些都不能忽視的，今天同樣介紹一種seo入門教程當中的基礎知識：如何設置robots.txt!要想把網站做好，做一個比較正規有權威的網站，robots文件是必不可少。

什么是robots.txt?

簡單的說robots文件是搜索引擎蜘蛛爬取網頁時要遵守的協議文件，這個文件是以記事本 txt 的形式保存在網站的根目錄下。

與此同時我們還有了解一個個概念：robot：即搜索引擎蜘蛛。它是一種搜索引擎抓取網頁內容的程序工具。

robots.txt這個文件是用來告訴搜索機器人不要爬行我們的部分網頁，比如：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。這些頁面或文件被搜索引擎收錄了，用戶也看不了，對用戶沒幫助，既浪費了服務器資源，又增加了服務器的壓力，因此我們可以用robots.txt告訴機器人集中注意力去收錄我們的文章頁面。增強用戶體驗，減少服務器壓力。

robots.txt的作用

1. 幾乎所有的搜索引擎 Spider 都遵循 robots.txt 給出的爬行規則，協議規定搜索引擎 Spider 進入某個網站的入口即是該網站的 robots.txt，當然，前提是該網站存在此文件。對于沒有配置robots.txt 的網站，Spider 將會被重定向至404 錯誤頁面，相關研究表明，如果網站采用了自定義的 404 錯誤頁面，那么 Spider 將會把其視作 robots.txt——雖然其并非一個純粹的文本文件——這將給 Spider 索引網站帶來很大的困擾，影響搜索引擎對網站頁面的收錄。

2. robots.txt 可以制止不必要的搜索引擎占用服務器的寶貴帶寬，如 email retrievers，這類搜索引擎對大多數網站是沒有意義的;再如 image strippers，對于大多數非圖形類網站來說其也沒有太大意義，但卻耗用大量帶寬。

3. robots.txt 可以制止搜索引擎對非公開頁面的爬行與索引，如網站的后臺程序、管理程序，事實上，對于某些在運行中產生臨時頁面的網站來說，如果未配置 robots.txt，搜索引擎甚至會索引那些臨時文件。

4. 對于內容豐富、存在很多頁面的網站來說，配置 robots.txt 的意義更為重大，因為很多時候其會遭遇到搜索引擎 Spider 給予網站的巨大壓力：洪水般的 Spider 訪問，如果不加控制，甚至會影響網站的正常訪問。

5. 同樣地，如果網站內存在重復內容，使用 robots.txt 限制部分頁面不被搜索引擎索引和收錄，可以避免網站受到搜索引擎關于 duplicate content 的懲罰，保證網站的排名不受影響。

本文標題：robots.txt的作用是什么？
分享鏈接：http://m.newbst.com/news41/169291.html

成都網站建設公司_創新互聯，為您提供網站內鏈、定制開發、網站排名、建站公司、外貿網站建設、品牌網站設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯