2014-10-12 分類: 網站建設
網站的robots.txt文件設置是不是合理,哪些文件或許目錄需求屏蔽、哪些設置辦法對網站運營有優(yōu)點?有人復制出相同的內容以應付不同搜索引擎的排名規(guī)則。然而,一旦搜索引擎發(fā)現(xiàn)站內有大量“克隆”的頁面,就會給以懲罰,不收錄這些重復的頁面。
另一方面,我們網站的內容屬于個人私密文件,不想暴露在搜索引擎中。這時,robot.txt就是為了解決這兩個問題。
一、什么是robots.txt?
robots.txt 是網站和搜索引擎的協(xié)議的純文本文件。當一個搜索引擎蜘蛛來訪問站點時,它首先爬行來檢查該站點根目錄下是否存在robots.txt,
如果存在,根據文件內容來確定訪問范圍,如果沒有,蜘蛛就沿著鏈接抓取。robots.txt 放在項目的根目錄下。
二、 robots.txt基本語法:
1) 、允許所有搜索引擎訪問網站的所有部分
robots.txt寫法如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意: 1. ****個英文要大寫,冒號是英文狀態(tài)下,冒號后面有一個空格,這幾點一定不能寫錯。
2) 、禁止所有搜索引擎訪問網站的所有部分
robots.txt寫法如下:
User-agent: *
Disallow: /
3) 、只需要禁止蜘蛛訪問某個目錄,比如禁止admin、css、images等目錄被索引
robots.txt寫法如下:
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
注意:路徑后面有斜杠和沒有斜杠的區(qū)別:比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾,Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關鍵詞的都會被屏蔽
4)、屏蔽一個文件夾/templets,但是又能抓取其中一個文件的寫法:/templets/main
robots.txt寫法如下:
User-agent: *
Disallow: /templets
Allow: /main
5)、 禁止訪問/html/目錄下的所有以”.php”為后綴的URL(包含子目錄)
robots.txt寫法如下:
User-agent: *
Disallow: /html/*.php
6)、 僅允許訪問某目錄下某個后綴的文件,則使用“$”
robots.txt寫法如下:
User-agent: *
Allow: .html$
Disallow: /
7)、禁止索引網站中所有的動態(tài)頁面
比如這里限制的是有“?”的域名,例如index.php?id=1
robots.txt寫法如下:
User-agent: *
Disallow: /*?*
8)、 禁止搜索引擎抓取我們網站上的所有圖片(如果你的網站使用其他后綴的圖片名稱,在這里也可以直接添加)
有些時候,我們?yōu)榱斯?jié)省服務器資源,需要禁止各類搜索引擎來索引我們網站上的圖片,這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外,還 可以采取直接屏蔽圖片后綴名的方式。
robots.txt寫法如下:
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
三、寫robots.txt要注意的地方:
1)、 ****個英文要大寫,冒號是英文狀態(tài)下,冒號后面有一個空格,這幾點一定不能寫錯。
2.)、斜杠:/ 代表整個網站
3)、如果“/”后面多了一個空格,則屏蔽整個網站
4)、不要禁止正常的內容
5)、生效時間是幾天到兩個月
四、robots.txt文件對網站優(yōu)化有什么作用?
1、疾速增加網站權重和拜訪量;
2、制止某些文件被查找引擎索引,能夠節(jié)約服務器帶寬和網站拜訪速度;
3、為查找引擎供給一個簡潔明了的索引環(huán)境
五、哪些網站的目錄需求運用robots.txt文件制止抓取?
1)、圖像目錄
圖像是構成網站的首要組成元素。跟著現(xiàn)在建站越來越便利,許多cms的呈現(xiàn),真實做到了會打字就會建網站,而正是由于如此便利,網上呈現(xiàn)了許多的同質化模板網站,被重復運用,這樣的網站查找引擎是必定不喜愛的,就算是你的網站被錄入了,那你的作用也是很差的。若是你非要用這種網站的話,主張你大概在robots.txt文件中進行屏蔽,一般的網站圖像目錄是:imags 或許 img;
2)、網站模板目錄
cms的強大和靈敏,也致使了許多同質化的網站模板的呈現(xiàn)和亂用,高度的重復性模板在查找引擎中形成了一種冗余,且模板文件常常與生成文件高度類似,相同易形成相同內容的呈現(xiàn)。對查找引擎很不友愛,嚴峻的直接被查找引擎打入冷宮,不得翻身,許多cms有具有獨立的模板寄存目錄,因而,大概進行模板目錄的屏蔽。一般模板目錄的文件目錄是:templets
3)、css、js目錄的屏蔽
css目錄文件在查找引擎的抓取中沒有用途,也無法供給有價值的信息。所以強烈主張在robots.txt文件中將其進行屏蔽,以進步查找引擎的索引質量。為查找引擎供給一個簡潔明了的索引環(huán)境更易晉升網站友愛性。css款式的目錄一般情況下是:css 或許 style,
js文件在查找引擎中無法進行辨認,這里僅僅主張,能夠對其進行屏蔽,這樣做也有一個優(yōu)點:為查找引擎供給一個簡潔明了的索引環(huán)境;
4)、屏蔽雙頁面的內容
這里拿dedecms來舉例吧。dedecms能夠運用靜態(tài)和動態(tài)url進行同一篇內容的拜訪,若是你生成全站靜態(tài)了,那你有必要屏蔽動態(tài)地址的url連接。
這里有兩個優(yōu)點:
①、查找引擎對靜態(tài)的url比動態(tài)的url更友愛、更簡單錄入;
②、避免靜態(tài)、動態(tài)url能拜訪同一篇文章而被查找引擎判為重復內容。這樣做對查找引擎友愛性來說是有益無害的。
5)、模板緩存目錄
許多cms程序都有緩存目錄,這種緩存目錄的優(yōu)點我想不用說我們也明白了吧,能夠十分有用的晉升網站的拜訪速度,削減網站帶寬,對用戶體會也是極好的。不過,這樣的緩存目錄也有必定的缺陷,那就是會讓查找引擎進行重復的抓取,一個網站中內容重復也是大祭,對網站百害而無一利。許多運用cms建站的兄弟都沒有注意到,有必要要導致注重。
6)、被刪去的目錄
死鏈過多,對查找引擎優(yōu)化來說,是喪命的。不能不導致站長的高度注重,。在網站的開展過程中,目錄的刪去和調整是不可避免的,若是你的網站當時目錄不存在了,那有必要對此目錄進行robots屏蔽,并回來正確的404過錯頁面。
這里有一個爭議性的疑問,關于網站后臺辦理目錄是不是需求進行屏蔽,其實這個可有可無。在能確保網站安全的情況下,若是你的網站運營規(guī)劃較小,就算網站目錄呈現(xiàn)在robots.txt文件中,也沒有多大疑問,這個我也見過許多網站這樣設置的;但若是你的網站運營規(guī)劃較大,對手過多,強烈主張千萬別呈現(xiàn)網站后臺管理目錄的信息,以防被心懷叵測的人使用,危害你的利益;引擎越來越智能,關于網站的管理目錄仍是能極好的辨認,并拋棄索引的。別的,我們在做網站后臺的時分,也能夠在頁面元標簽中增加:進行查找引擎的屏蔽抓取。
文章名稱:Robots.txt協(xié)議的寫法及屏蔽文件
本文路徑:http://m.newbst.com/news9/12409.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供品牌網站設計、域名注冊、搜索引擎優(yōu)化、網站導航、虛擬主機、靜態(tài)網站
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容