免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

如何讓網(wǎng)站頁面內(nèi)容不被抓取

2021-12-21    分類: 網(wǎng)站建設(shè)

可能有的朋友會(huì)奇怪,網(wǎng)站的頁面不是讓搜索引擎抓的越多越好嗎,怎么還會(huì)有怎么讓網(wǎng)站頁面內(nèi)容不被抓取的想法。

首先,一個(gè)網(wǎng)站可以分出去的權(quán)重是有限,哪怕是Pr10的站,也不可能無限的分權(quán)重出去。這權(quán)重包括鏈到別人網(wǎng)站的處鏈以及自己網(wǎng)站內(nèi)的內(nèi)鏈。

外鏈的話,除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取。這不在本文討論范圍之內(nèi)。

而內(nèi)鏈,因?yàn)橛行┚W(wǎng)站有不少重復(fù)或冗余的內(nèi)容。比如一些按條件查詢的搜索結(jié)果。特別是一些B2C站,在專門查詢頁或在所有產(chǎn)品頁面的某個(gè)位置內(nèi),都可以按產(chǎn)品類型,型號(hào),顏色,大小等進(jìn)行分類搜索。這些頁面雖然對(duì)瀏覽者來說是極大的方便,但對(duì)搜索引擎來說,這可是耗費(fèi)蜘蛛極大的抓取時(shí)間,特別是網(wǎng)站頁面較多時(shí)。同時(shí)也會(huì)分散頁面權(quán)重,對(duì)SEO不利。

另外網(wǎng)站管理登陸頁面,備份頁面,測(cè)試頁面等等,也是站長不想讓搜索引擎所收錄的。

所以就有需要讓網(wǎng)頁的某些內(nèi)容,或某些頁面不被搜索引擎所收錄。

下面筆者先介紹一下較為有效的幾種方法:

1.在FLaSH展示不想被收錄的內(nèi)容

眾所周知,搜索引擎對(duì)FLaSH的內(nèi)容抓取能力有限,不能完全抓取所有FLaSH內(nèi)的所有內(nèi)容。但遺憾的是,也不能完全保證FLaSH的所有內(nèi)容都不會(huì)被抓取。因?yàn)楣雀韬蚢dobe正努力的實(shí)現(xiàn)FLaSH抓取技術(shù)。

2.使用robos文件

這是暫時(shí)最有效的方法,但有個(gè)很大的缺點(diǎn)。就是不傳出任何的內(nèi)容及鏈接。大家知道,在SEO來說比較健康的頁面應(yīng)該是有進(jìn)有出的。有外鏈的鏈入,同時(shí)也頁面內(nèi)也需要有鏈到外部網(wǎng)站的鏈接,所以robots文件控制,讓此頁面只進(jìn)不出,搜索引擎也不知道內(nèi)容是什么。會(huì)把此頁定為低質(zhì)量頁面。權(quán)重有可能受一定的懲罰。這個(gè)多用于網(wǎng)站管理頁面,測(cè)試頁面等。

3.使用nofollow標(biāo)簽包裹不想被收錄的內(nèi)容

這個(gè)方法也不能完全保證不被收錄,因?yàn)檫@并不是嚴(yán)格要求遵守的標(biāo)簽。另外,如果有外部網(wǎng)站鏈向了有nofollow標(biāo)簽的頁面。這樣就很有可能會(huì)被搜索引擎抓取。

4.用Meta Noindex標(biāo)簽加上follow標(biāo)簽

這個(gè)方法可以做到防止收錄而且還能傳遞出權(quán)重。要不要傳遞,看網(wǎng)站制作站長自己的需要。這個(gè)方法的缺點(diǎn)是,也是會(huì)較大的浪費(fèi)蜘蛛的抓取頁面時(shí)間。

5.用robots文件的同時(shí)在頁面上使用iframe標(biāo)簽展示需要搜索引擎收錄的內(nèi)容

robots文件可以阻止iframe標(biāo)簽以外的內(nèi)容被收錄。所以,可以把不想收錄的內(nèi)容放到正常頁面標(biāo)簽下。而想被收錄的內(nèi)容放在iframe標(biāo)簽內(nèi)。

緊接著,再說一下已經(jīng)失效的方法,大家以后不要用這些方法了。

1.使用表格

谷歌和百度早已經(jīng)能抓取表格用的內(nèi)容了,無法阻止收錄。

2.使用Javascript及ajax技術(shù)

以現(xiàn)在的技術(shù)來說,ajax和javascript現(xiàn)在的最終運(yùn)算的結(jié)果還是以HTML的形式傳給瀏覽器以作顯示,所以這同樣無法阻止收錄。

初學(xué)者大多著眼于如何收錄,但細(xì)節(jié)決定成敗。怎么讓網(wǎng)站頁面內(nèi)容不被抓取也是SEO進(jìn)階人士需要注意的。

名稱欄目:如何讓網(wǎng)站頁面內(nèi)容不被抓取
網(wǎng)站URL:http://m.newbst.com/news39/141339.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站維護(hù)網(wǎng)站制作App開發(fā)動(dòng)態(tài)網(wǎng)站小程序開發(fā)網(wǎng)站排名

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)