2016-11-05 分類: 網站建設
很多剛接觸SEO的朋友還不怎么了解robots是什么,其實robots是一個跟目錄文件,雖然操作和用處極為簡單,但是它在SEO優化推廣中的有著至關重要的意義。
它的用處就是指定哪些搜索引擎蜘蛛可以抓取內容,以及禁止搜索引擎蜘蛛抓取網站的部分或全部內容。看到這里想必已經明白了吧,就是說不小心禁止某個搜索引擎抓取(比如百度),那么在這搜索引擎上就不會有收錄更別說排名了,也就搜索不到網站里面的任何內容。
那么怎么使用呢?
Robots.txt 文件放在網站根目錄下,并且該文件是可以通過互聯網進行訪問的。 該文件必須能夠通過 打開并看到里面的內容。
如果要調整改動就需要通過FTP鏈接服務器進行改動了,云主機可以通過遠程桌面直接修改,有些主機供應商的管理后臺有支持文件控制的也可以直接操作修改。
里面涉及到的幾個點分別是【User-agent】【Disallow】【Allow】【Sitemap】
User-agent:用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則該協議對任何機器人均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。
Disallow:用于描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow開頭的URL均不會被robot訪問到。
網頁題目:SEO優化中Robots的設置至關重要
網站網址:http://m.newbst.com/news20/60970.html
成都網站建設公司_創新互聯,為您提供網站策劃、網站改版、外貿建站、關鍵詞優化、網站設計公司、響應式網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容