免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

蜘蛛耗盡服務(wù)器資源分析

2015-06-04    分類: 網(wǎng)站建設(shè)

當(dāng)我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后,都希望網(wǎng)站被盡快收錄,于是會(huì)去吸引蜘蛛的到來(lái),蜘蛛到來(lái)的頻率過(guò)高有時(shí)候會(huì)導(dǎo)致iis資源耗盡,網(wǎng)站中時(shí)常數(shù)出現(xiàn)service unavoidable的提示,這個(gè)詞的出現(xiàn)可以直接表現(xiàn)為訪問(wèn)量很小。

是蜘蛛的到來(lái)引起我們網(wǎng)站資源的缺乏,是蜘蛛耗盡服務(wù)器資源的,所以我們的解決辦法就針對(duì)蜘蛛進(jìn)行。利用robots.txt中的disallow屏蔽部分沒(méi)有實(shí)際意義的內(nèi)容。

格式如下:

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

說(shuō)明:

user-agent:*: *代表允許所有的搜索引擎來(lái)抓取數(shù)據(jù)。
disallow:/search.html:不允許收錄/search.html這個(gè)文件的數(shù)據(jù)。
disallow:/index.php?:不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/:不允許收錄/tempweb/里所有的文件,但可以收錄如:/tempwebtaim.html的鏈接。

當(dāng)前標(biāo)題:蜘蛛耗盡服務(wù)器資源分析
文章分享:http://m.newbst.com/news42/19142.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)網(wǎng)站維護(hù)手機(jī)網(wǎng)站建設(shè)小程序開(kāi)發(fā)網(wǎng)站建設(shè)靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)