搜索引擎對網(wǎng)站內(nèi)容提取？深圳網(wǎng)站設(shè)計公司創(chuàng)新互聯(lián)指出搜索引擎建立網(wǎng)頁索引，處理的對象是文本文件。對于網(wǎng)絡(luò)蜘蛛來說，抓取下來網(wǎng)頁包括各種格式，包括html、圖片、doc、pdf、多媒體、動態(tài)網(wǎng)頁及其它格式等。這些文件抓取下來后，需要把這些文件中的文本信息提取出來。準確提取這些文檔的信息，一方面對搜索引擎的搜索準確性有重要作用，另一方面對于網(wǎng)絡(luò)蜘蛛正確跟蹤其它鏈接有一定影響。對于doc、pdf等文檔，這種由專業(yè)廠商提供的軟件生成的文檔，廠商都會提供相應(yīng)的文本提取接口。網(wǎng)絡(luò)蜘蛛只需要調(diào)用這些插件的接口，就可以輕松的提取文檔中的文本信息和文件其它相關(guān)的信息。

HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標識符來表示不同的字體、顏色、位置等版式，如：、、等，提取文本信息時需要把這些標識符都過濾掉。過濾標識符并非難事，因為這些標識符都有一定的規(guī)則，只要按照不同的標識符取得相應(yīng)的信息即可。但在識別這些信息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁面的關(guān)鍵詞等，這些信息有助于計算單詞在網(wǎng)頁中的重要程度。同時，對于HTML網(wǎng)頁來說，除了標題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關(guān)系也沒有，在提取網(wǎng)頁內(nèi)容的時候，也需要過濾這些無用的鏈接。例如某個網(wǎng)站有“產(chǎn)品介紹”頻道，因為導航條在網(wǎng)站內(nèi)每個網(wǎng)頁都有，若不過濾導航條鏈接，在搜索“產(chǎn)品介紹”的時候，則網(wǎng)站內(nèi)每個網(wǎng)頁都會搜索到，無疑會帶來大量垃圾信息。過濾這些無效鏈接需要統(tǒng)計大量的網(wǎng)頁結(jié)構(gòu)規(guī)律，抽取一些共性，統(tǒng)一過濾；對于一些重要而結(jié)果特殊的網(wǎng)站，還需要個別處理。這就需要網(wǎng)絡(luò)蜘蛛的設(shè)計有一定的擴展性。對于多媒體、圖片等文件，一般是通過鏈接的錨文本（即，鏈接文本）和相關(guān)的文件注釋來判斷這些文件的內(nèi)容。例如有一個鏈接文字為“張曼玉照片”，其鏈接指向一張bmp格式的圖片，那么網(wǎng)絡(luò)蜘蛛就知道這張圖片的內(nèi)容是“張曼玉的照片”。這樣，在搜索“張曼玉”和“照片”的時候都能讓搜索引擎找到這張圖片。另外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內(nèi)容。

動態(tài)網(wǎng)頁一直是網(wǎng)絡(luò)蜘蛛面臨的難題。所謂動態(tài)網(wǎng)頁，是相對于靜態(tài)網(wǎng)頁而言，是由程序自動生成的頁面，這樣的好處是可以快速統(tǒng)一更改網(wǎng)頁風格，也可以減少網(wǎng)頁所占服務(wù)器的空間，但同樣給網(wǎng)絡(luò)蜘蛛的抓取帶來一些麻煩。由于開發(fā)語言不斷的增多，動態(tài)網(wǎng)頁的類型也越來越多，如：asp、jsp、php等。這些類型的網(wǎng)頁對于網(wǎng)絡(luò)蜘蛛來說，可能還稍微容易一些。網(wǎng)絡(luò)蜘蛛比較難于處理的是一些腳本語言（如VBScript和JavaScript）生成的網(wǎng)頁，如果要完善的處理好這些網(wǎng)頁，網(wǎng)絡(luò)蜘蛛需要有自己的腳本解釋程序。對于許多數(shù)據(jù)是放在數(shù)據(jù)庫的網(wǎng)站，需要通過本網(wǎng)站的數(shù)據(jù)庫搜索才能獲得信息，這些給網(wǎng)絡(luò)蜘蛛的抓取帶來很大的困難。對于這類網(wǎng)站，如果網(wǎng)站設(shè)計者希望這些數(shù)據(jù)能被搜索引擎搜索，則需要提供一種可以遍歷整個數(shù)據(jù)庫內(nèi)容的方法。

搜索引擎對網(wǎng)站內(nèi)容提取？對于網(wǎng)頁內(nèi)容的提取，一直是網(wǎng)絡(luò)蜘蛛中重要的技術(shù)。整個系統(tǒng)一般采用插件的形式，通過一個插件管理服務(wù)程序，遇到不同格式的網(wǎng)頁采用不同的插件處理。這種方式的好處在于擴充性好，以后每發(fā)現(xiàn)一種新的類型，就可以把其處理方式做成一個插件補充到插件管理服務(wù)程序之中。

當前標題：搜索引擎對網(wǎng)站內(nèi)容提取？
分享鏈接：http://m.newbst.com/news/166980.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計公司、網(wǎng)站設(shè)計公司、移動網(wǎng)站建設(shè)、用戶體驗、軟件開發(fā)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)