2015-06-04 分類: 網(wǎng)站建設(shè)
當(dāng)我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后,都希望網(wǎng)站被盡快收錄,于是會(huì)去吸引蜘蛛的到來(lái),蜘蛛到來(lái)的頻率過(guò)高有時(shí)候會(huì)導(dǎo)致iis資源耗盡,網(wǎng)站中時(shí)常數(shù)出現(xiàn)service unavoidable的提示,這個(gè)詞的出現(xiàn)可以直接表現(xiàn)為訪問(wèn)量很小。
是蜘蛛的到來(lái)引起我們網(wǎng)站資源的缺乏,是蜘蛛耗盡服務(wù)器資源的,所以我們的解決辦法就針對(duì)蜘蛛進(jìn)行。利用robots.txt中的disallow屏蔽部分沒(méi)有實(shí)際意義的內(nèi)容。
格式如下:
user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/
說(shuō)明:
user-agent:*: *代表允許所有的搜索引擎來(lái)抓取數(shù)據(jù)。
disallow:/search.html:不允許收錄/search.html這個(gè)文件的數(shù)據(jù)。
disallow:/index.php?:不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/:不允許收錄/tempweb/里所有的文件,但可以收錄如:/tempwebtaim.html的鏈接。
當(dāng)前標(biāo)題:蜘蛛耗盡服務(wù)器資源分析
文章分享:http://m.newbst.com/news42/19142.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、手機(jī)網(wǎng)站建設(shè)、小程序開(kāi)發(fā)、網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容