對于robots相比各位站長和seoer再熟悉不過了，現在基本上每個網站都會寫入robots文件。其實robots文件跟我們的網站地圖差不多，搜索引擎來到一個網站首先看的就是robots文件和我們地圖，所以正確書寫robots文件對于我們靠搜索引擎吃飯的這類人來說是很重要的，想要讓你的網站繼續在互聯網上運營那么你必須要搞好跟搜索引擎的關系。一個網站的網站地圖和robots文件是搜索引擎首先去爬行的，但他們兩者的作用也是各不相同，網站地圖的作用是讓整個網站內容清晰的展現給搜索引擎，而robots文件的作用就好比是一個導游一樣指明了一個網站的哪些地方可以去爬行，哪些地方不可以爬行。下面筆者就為大家分享一些關于robots文件編寫規則，不然你知道了他的作用，不知道怎么編寫，那豈不是很憋屈。

Robots.txt編寫的開放性問題

很多站長，尤其是新手站長對于Robots.txt的理解過于片面，他們認為既然Robots.txt可以規定蜘蛛的訪問途徑，那我們何必不開放，把所有文件都設置成可訪問，這樣一來網站的收錄量不久立即上升了，其實問題遠遠沒有我們想象的簡單，大家都知道網站中一些固定的文件是不必傳送給搜索引擎訪問的，如果我們把網站全方位開放，后果就是加大網站服務器負載，降低訪問速度，減緩蜘蛛的爬行率，對于網站收錄沒有一點用處，所以對于固定不需要訪問的文件，我們直接Disallow掉就可以了。一般情況下，網站不需要訪問的文件有后臺管理文件、程序腳本、附件、數據庫文件、等等。

Robots.txt編寫的重復性問題

我們每天都在寫著原創內容，然后更新到自己的網站中，大家想過沒有我們這樣做的目的是什么當然是為了討搜索引擎的好，大家都知道搜索引擎很看重原創內容，對于原創內容的收錄很快，相反，如果你的網站中充斥著大量的復制內容，那么我只能遺憾的告訴你，網站的前途一片渺茫。不過這也從另一個方面告訴我們要積極的利用robots文件禁止重復頁面的代碼，降低頁面的重復度，但是在編寫robots文件時一定要記得在User-agent后加入某個搜索引擎，例如User-agent:BaiduSpiderDisallow:/，如果沒有加入，編寫成User-agent: * Disallow: /形式，則是對網站所有內容的屏蔽。

Robots.txt編寫的meta問題

在Robots.txt編寫規則中，有一個取最強參數法則，而且如果網站以及頁面標簽上同時出現robots.txt文件和meta標簽，那么搜索引擎就會服從兩個規則中較為嚴格的一個，即禁止搜索引擎對于某個頁面的索引，當然如果robots.txt文件和meta標簽不是出現一個文件中，那么搜索引擎就會遵循就近原則，就會索引meta標簽前的所有文件。

當前文章：淺談robots文件的編寫
分享鏈接：http://m.newbst.com/news13/126763.html

成都網站建設公司_創新互聯，為您提供網站內鏈、標簽優化、網站設計公司、網站建設、網站策劃、微信小程序

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯