免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

robots文件代表了什么樣的含義呢

2021-08-13    分類(lèi): 網(wǎng)站建設(shè)

很對(duì)站長(zhǎng)朋友在對(duì)網(wǎng)站開(kāi)始進(jìn)行優(yōu)化之前,會(huì)忽略非常重要的一點(diǎn),就是網(wǎng)站上的robots文件,robots文件的作用是告訴搜索引擎蜘蛛,這個(gè)網(wǎng)站上什么內(nèi)容是可以抓取的,哪些內(nèi)容是禁止抓取的。當(dāng)robots文件制作完成之后,放在網(wǎng)站ftp的跟目錄之下,就搞定了。那么,robots文件里寫(xiě)的各種內(nèi)容,都是代表了什么樣的含義呢?下面我們就來(lái)了解一下吧!

User-agent禁止訪問(wèn)抓取系列:

User-agent:*

這里的*好是通配符,意指所有的搜索引擎都可以抓取,包括百度、搜狗、360等等

Disallow:/

意思是禁止蜘蛛抓取該網(wǎng)站的任何目錄

Disallow:/123

意思是禁止蜘蛛抓取該網(wǎng)站的123以及123層級(jí)之下的所有內(nèi)容

Disallow:/123/

意思是禁止蜘蛛抓取123層級(jí)之下的所有內(nèi)容,但是可以抓取123頁(yè)面的內(nèi)容

Disallow:/*.png



意思是禁止蜘蛛抓取網(wǎng)站上所有png格式的圖片,想要禁止抓取其它格式也是這樣書(shū)寫(xiě),比如想要禁止抓取網(wǎng)站jpg格式的圖片,書(shū)寫(xiě)方式為Disallow:/*.jpg

Disallow:/123/*.png

禁止蜘蛛訪問(wèn)123層次下的png圖片,其他格式也是同樣的書(shū)寫(xiě)方式

Disallow:/*?*

禁止蜘蛛抓取網(wǎng)站上所有的動(dòng)態(tài)url頁(yè)面

Disallow:/123/*?*

禁止蜘蛛抓取網(wǎng)站上123目錄下的所有動(dòng)態(tài)頁(yè)面,不影響抓取網(wǎng)站123目錄中的其它內(nèi)容

allow允許抓取訪問(wèn)系列:

allow的意思是允許蜘蛛訪問(wèn)抓取的意思,在寫(xiě)robots文件的時(shí)候一定要注意一件事,就是在書(shū)寫(xiě)的時(shí)候,一定要將allow放在disallow前面,才能不受disallow的影響,其它的寫(xiě)法參考disallow的書(shū)寫(xiě)方式,這里就不湊字?jǐn)?shù)了。

有一點(diǎn)注意事項(xiàng),大家在使用的時(shí)候一定要注意,robots.txt文件名稱一定要小寫(xiě)的,不要大寫(xiě)。有了完整的robots文件,搜索引擎在抓取的時(shí)候才會(huì)更加的方便,利于對(duì)網(wǎng)站的提升。

名稱欄目:robots文件代表了什么樣的含義呢
文章URL:http://m.newbst.com/news17/121967.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈網(wǎng)站設(shè)計(jì)公司關(guān)鍵詞優(yōu)化外貿(mào)建站搜索引擎優(yōu)化網(wǎng)站導(dǎo)航

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

綿陽(yáng)服務(wù)器托管