2015-07-17 分類: 網(wǎng)站建設
「robots」robots合同書是正確對待蜘蛛爬取網(wǎng)址地質(zhì)圖,robots合同書是指搜索引擎與網(wǎng)址正中間的合同書文本文檔,換句話說爬蟲協(xié)議書,用于特殊spider在網(wǎng)址上的爬取范圍。其作用是可以屏蔽對網(wǎng)址對搜索引擎不友好的聯(lián)接,比如動態(tài)和數(shù)據(jù)格式聯(lián)接此外存在時屏蔽日常任務一切不肯被引入的網(wǎng)頁頁面。
「robots」robots合同書是正確對待蜘蛛爬取網(wǎng)址地質(zhì)圖,也用以網(wǎng)站建設維護信息內(nèi)容和較為比較敏感信息,確保顧客個人信息和個人隱私保護不被損害。存在于網(wǎng)址網(wǎng)站根目錄正,以格式文件存在,注意robots文件夾名字不能隨便變動。
SEO大神為何要懂robots?
撰寫::表述針對某一網(wǎng)絡爬蟲,
:表述嚴禁爬取
:允許爬取
.*使用通配符,表述所有
.$結束符,表述以什么結尾
/根域下是指網(wǎng)址網(wǎng)站根目錄
注:爐灶顯示英文狀況下的,并且后面有一個空格符,首寫務必小寫字母。
例:
1、User-agent:*Disallow:/針對所有網(wǎng)絡爬蟲嚴禁爬取根目錄下的所有聯(lián)接
2、User-agent:BaiduspiderDisallow:/嚴禁百度蜘蛛爬取網(wǎng)址所有連接
3、User-agent:*Disallow:/a/針對所有的網(wǎng)絡爬蟲嚴禁爬取網(wǎng)址根目錄下的a文件目錄
4、User-agent:*Disallow:/a針對所有的網(wǎng)絡爬蟲嚴禁爬取網(wǎng)址根目錄下為“a”剛開始的文本文檔5、User-agent:*Disallow:/*?*(?表述動態(tài)符)嚴禁爬取網(wǎng)址根目錄下帶?號的動態(tài)聯(lián)接
6、User-agent:*Disallow:/*.js$嚴禁爬取網(wǎng)址根目錄下邊以.js結尾的文本文檔
7、User-agent:*Disallow:/a/Allow:/a/b/嚴禁爬取網(wǎng)址根目錄下邊“a”,允許爬取“a”文件目錄下面的“b”文件目錄。
8、User-agent:*Disallow:/a/Allow:/a/b嚴禁爬取網(wǎng)址根目錄下邊“a”文件目錄,允許爬取“a”文件目錄中以“b”剛開始的文本文檔。
網(wǎng)站標題:robots合同書是正確對待蜘蛛爬取網(wǎng)址地質(zhì)圖
網(wǎng)頁鏈接:http://m.newbst.com/news34/35934.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、App開發(fā)、網(wǎng)站制作、動態(tài)網(wǎng)站、虛擬主機、營銷型網(wǎng)站建設
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容