免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

如何防止別人采集你的網站！

2023-05-22    分類： 網站建設

網頁防采集策略

目前防采集的方法有很多種，先介紹一下常見防采集策略方法和它的弊端及采集對策：
一、判斷一個IP在一定時間內對本站頁面的訪問次數，如果明顯超過了正常人瀏覽速度，就拒絕此IP訪問。
弊端：
1、此方法只適用于動態頁面，如：asp/jsp/php等...靜態頁面無法判斷某個IP一定時間訪問本站頁面的次數。
2、此方法會嚴重影響搜索引擎蜘蛛對其收錄，因為搜索引擎蜘蛛收錄時，瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內文件。
采集對策：只能放慢采集速度，或者不采。
建議：做個搜索引擎蜘蛛的IP庫，只允許搜索引擎蜘蛛快速瀏覽站內內容。搜索引擎蜘蛛的IP庫的收集，也不太容易，一個搜索引擎蜘蛛，也不一定只有一個固定的IP地址。
評論：此方法對防采集比較有效，但卻會影響搜索引擎對其收錄。
二、用javascript加密內容頁面
弊端：此方法適用于靜態頁面，但會嚴重影響搜索引擎對其收錄情況，搜索引擎收到到的內容，也都是加密后的內容。
采集對策：建議不采，如非要采，就把解密碼的JS腳本也采下來。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。
三、把內容頁面里的特定標記替換為”特定標記+隱藏版權文字“
弊端：此方法弊端不大，僅僅會增加一點點的頁面文件大小，但容易反采集。
采集對策：把采集來的含有隱藏版權文字內容的版權文字替掉，或替換成自己的版權。
建議：目前沒有好的改良建議。
評論：自己感覺實用價值不大，就算是加上隨機的隱藏文字，也等于畫蛇添足。
四、只允許用戶登陸后才可以瀏覽
弊端：此方法會嚴重影響搜索引擎蜘蛛對其收錄
采集對策：目前落伍已經有人發了對策文章 ，具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實現表單的提交以及cookies或session的發送》。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點效果的。
五、用javascript、vbscript腳本做分頁
弊端：影響搜索引擎對其收錄。
采集對策：分析javascript、vbscript腳本，找出其分頁規則，自己做個對應此站的分頁集合頁即可。
建議：目前沒有好的改良建議。
評論：感覺懂點腳本語言的人都能找出其分頁規則。
六、只允許通過本站頁面連接查看，如：Request.ServerVariables(“HTTP_REFERER“)
弊端：影響搜索引擎對其收錄。
采集對策：不知道能不能模擬網頁來源。。。。目前我沒有對應此方法的采集對策。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點效果的。
從以上可以看出，目前常用的防采集方法，要么會對搜索引擎收錄有較大影響，要么防采集效果不好，起不到防采集的效果。那么，還有沒有一種有效防采集，而又不影響搜索引擎收錄的方法呢？那就請繼續往下看吧！
1、用不同的模板
對于用程序的網站來說，不大可行，一個網站的模板多也就幾套吧。
2、使用robots禁止訪問網頁目錄
這個方法可以有效的防止采集，不過將搜索引擎也封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。
一個例子，Disallow 后面就是禁止訪問的目錄：
2 [轉帖]網頁防采集策略
User-agent: *
Disallow: /admin
Disallow: /attachments
Disallow: /images
Disallow: /forumdata
Disallow: /include
3、使用HTTP_REFERER禁止采集，發現來自非本站連接就禁止察看葉面，就像前一段落伍im286.net防DDOS那個禁止調用一樣。
這個方法可以比較有效的防止采集，不過也一樣把搜索引擎封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。
對高手無效，因為HTTP_REFERER可以偽造。但對一般使用采集的人來說，已經足夠應付了。
例：
php
if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {
exit('警告----你的操作已經被禁止.http://www.xinhezi.cn;);
}
4、使用HTTP_REFERER偽造內容
這個方法可以比較有效的防止采集，不過對于搜索引擎來說，查到的東西跟你偽造的東西一樣的，可能會影響收錄。(如有不對，請高手指出)
同上，對于高手無效。
5、使用java加密內容。
這個可能會比較有效，但是我對java一竅不通，也就不清楚如何入手了。
但我想，既然你這樣使得別人采集到亂碼，搜索引擎有可能也是收錄到亂碼的(我不清楚搜索引擎怎么工作，不過我猜測他們是察看網頁源代碼的。)，也就影響收錄。
6、使用java加密網址
同上，有可能讓搜索引擎無法搜索到你的網頁。
7、生成pdf文件、生成圖片
這個方法可以比較有效的防止采集，不過照樣讓搜索引擎望而卻止。
8、加上自己的版權信息
這個方法大的好處就是不影響搜索引擎，效果馬馬虎虎，一般上可以讓采集者采集到帶有自己版權的稿件內容。但是對于可以過濾廣告的采集程序來說，不大有效。
以下是作者給俺的PM:
Quote:
你的版權是不是加了你的網站和網址?
只要把網址和網站名替換成他的就可以了啊.這樣還讓他有了版權功能呢.
反正防采真是頭疼....
有點麻煩，我的思路是將網站名稱分成一個一個字來顯示，他不可能將每個字都替換掉吧？不過要這樣我就沒辦法了。比如說我將我的 武俠網 拆開，分成
武俠網
，$rand_color*是隨機顏色，可以自己控制的，如果是動態網頁的話，還配合HTTP_REFERER來搞隨機，這樣子隨機性就更大了。一般上，盡量制造難度就是了。模板也可以制造隨機性，幾個相似的模板輪流來弄，這樣子讓人采集的難度更大。
不過說實話，要使他們真要搞，那是沒辦法的事，不過至少要花他們很多的時間去研究。在此之前，他們可能沒耐性轉向別的站了。
另外，好不要讓人知道你使用隨機函數。一般人只是稍微看一下網頁代碼，就開始采集了。
3 回復:[轉帖]網頁防采集策略
防采集程序
下午無聊寫著完，寫完后自己仔細看了看防止采集還是有一定的效果的，哈哈，要的拿去用吧！
<%
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒內請求限制10次
AppealCount=Request.Cookies("AppealCount")
If AppealCount="" Then
response.Cookies("AppealCount")=1
AppealCount=1
response.cookies("AppealCount").expires=dateadd("s",60,now())
Else
response.Cookies("AppealCount")=AppealCount+1
response.cookies("AppealCount").expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
response.write "歇一會兒吧！整天采集你煩不煩啊！"
response.end
End If
%>
4 回復:[轉帖]網頁防采集策略
[討論]防采集這幾天上網，竟然也現我的整站被人家全部采集去了。暈倒，幾年的資料就這樣便宜人家。
還好，人家是個懶蟲，欄目都不分，鬼才會去看。
這樣才想起怎樣防止采集的方法。
注意，只是討論可行性，還沒有提供解決方案。
采集與搜索引擎的機器人不同。采集需要對網頁進行分析，以找到規則，分別對標題和內容進行讀取并記錄到數據庫中。
如果我們能夠把網頁做成沒有規則，采集也就無從入手了。
說到規則，我就想趣了空格。
空格這東西，在HTM的<>中，并不產生作用，也就是說，一個空格的位置，你多加幾個也是沒關系的。象<table>你可以寫成< table>,<table >,< table >。都可以，所以，如果在網頁里面，特別是采集程序重點分析的位置，我們利用程序，在這些位置加些空格，采集也就難以下手了，就算采到了，也就幾篇而已，影響不大。
我準備這樣做，象原來在模板中的<table>，我會改成<{$space1$}table{$space2$}>,在這里，{$space1$}和{$space2$}是自定義標簽(也可以融合到程序中)，然后在程序中使用隨機數來決定這兩個標簽用多少個空格來代替。
呵呵，人家現在想用<table>來做為特征采集是完全做不到的了。但對于我的網頁，顯示上一點影響也沒有，對于搜索引擎的機器人也一點影響沒有。
我想這應該是合適的方法。
希望做過采集或改過采集的討論一下。

分享標題：如何防止別人采集你的網站！
本文網址：http://m.newbst.com/news25/260475.html

成都網站建設公司_創新互聯，為您提供商城網站、網站營銷、軟件開發、Google、服務器托管、自適應網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

綿陽服務器托管