2021-03-08 分類: 網站建設
數據怎么樣才能對人有用?人們整天都在討論大數據,其實數據本身并不是有用的,必須要經過一定的處理。數據本身并沒有什么作用,但是數據里面包含一些很重要的東西,叫做信息(Information),數據雜亂無章,只有經過了梳理和清洗,才能夠稱為信息。
1. 數據如何升華為智慧
數據的處理分五個步驟,全部完成了才最后才會升華智慧。
第一:數據的收集。首先得有數據,數據的收集有兩個方式,第一個方式是拿(Pull),專業點的叫爬取或者抓取,常見的搜索引擎就是這么干的,它把網上的信息都下載到它的數據中心,然后被你搜索出來。 比如你去搜索的時候,返回的是一個列表,這個列表為什么會在搜索引擎的公司里面呢,就是因為他把這個數據都爬下來了,但是你一點鏈接,點出來這個網站就不在搜索引擎它們公司了。比如說搜狐有個新聞,你拿百度搜出來,你不點的時候,那一頁在百度數據中心,一點出來的網頁就跳轉到搜狐的數據中心了。另外一個方式就是推送,有很多終端可以幫我收集數據,比如說智能手環,可以將你每天跑步的數據,血壓的數據,心跳的數據都上傳到數據中心里面。
第二:數據的傳輸。常見的會通過隊列方式進行,數據量實在是太大了,數據必須經過處理才會有用,但是系統處理不過來,只好排排隊,一條條地處理。
第三:數據的存儲?,F在數據就是Money,掌握了數據就相當于掌握了金錢。要不然你看購物網站怎么知道你想買什么呢?就是因為它有你歷史的交易信息,然后通過這個信息分析出你的購物習慣。
第四:數據的處理和分析。上面存儲的數據是原始數據,原始數據多是雜亂的,還有很多垃圾數據,因而需要清洗和過濾。對于整理過的數據,就可以進行分析,從而對數據進行歸類,或者發現數據之間的相互關系。比如著名的啤酒和紙尿布的故事,就是通過對人們的購買數據進行比對分析,發現了男人在買尿布的時候,會同時想要購買啤酒,這樣就發現了啤酒和尿布之間的對應關系,掌握了規律,然后應用到實踐中,將啤酒和尿布的柜臺放到一起,這就是一種智慧。
第五:對于數據的檢索和挖掘。檢索就是搜索,俗話說外事不決問谷歌,內事不決問百度。兩大搜索引擎都是將分析歸納后的數據放入搜索引擎,從而方便人們找到想要的信息。還有一個就是挖掘,搜索出來的信息還需要從中挖掘出相互的關系。例如財經檢索,當搜索某個公司股票的時候,該公司的管理層是不是也應該被挖掘出來?如果僅僅搜索出這個公司的股票漲的特別好,你就去買了,結果第二天就跌了,這不坑人么?所以通過各種算法挖掘數據中的關系,形成知識數據庫,十分重要
2. 大數據擁抱云計算
數據分析是一項很有意思的技術,其功能就是幫我們梳理數據,存儲信息,并從信息中總結規律。當數據量很小的時候,幾臺機器就能分析并解決問題。但是,慢慢的當數據量越來越大,大到最強的超級計算機都解決不了問題的時候,該怎么辦呢?這時就要聚合多臺機器的力量,也就是使用云計算的力量。
對于數據的收集,以物聯網為例,外面部署這成千上億的檢測設備,將大量的溫度,濕度,PH值,PM2.5等等數據統統收集上來,對于網頁的搜索引擎來講,需要將整個互聯網所有的網頁都下載下來,這顯然一臺服務器做不到,需要多臺服務器組成分布式系統,每臺機器下載一部分,同時工作,才能在有限的時間內,將海量的網頁下載完畢。
對于數據的傳輸,一個內存里面的隊列肯定會被大量的數據擠爆,于是就產生了基于存儲系統的分布式隊列,這樣的隊列可以多臺服務器同時傳輸,隨你數據量多大,只要我的隊伍足夠多,隊列足夠粗,就能夠撐得住。
對于數據的存儲也是一樣,一臺服務器的文件系統肯定是放不下了,那我們就做一個很大的分布式文件系統來做這件事情,把多臺機器的硬盤打成一塊大的文件系統。
再比如數據的分析,可能需要對大量的數據做分類,統計,聚合,一臺服務器肯定搞不定,處理幾百年也分析不完,于是就有了分布式計算的方法,將大量的數據分成小份,每臺服務器處理一小份,多臺服務器并行處理,很快就能算完。例如著名的Terasort對1個TB的數據排序,相當于1024G,如果單機處理,怎么也要幾個小時,但是并行處理只需要幾十秒就完成了。
所以說大數據平臺,什么叫做大數據,說白了就是一臺機器干不完,大家一起干。隨著數據量越來越大,很多公司都需要處理相當多的數據,沒有這么多機器可怎么辦呢?
說到這里,就想起云計算的好處了吧,真的是想什么時候要,就什么時候要,想要多少就要多少。例如大數據分析企業的財務情況,可能一個月分析一次,如果要把這一百臺服務器或者一千臺服務器都在那擺著,一個月用一次吧,非常浪費。那能不能需要計算的時候,把這一千臺服務器拿出來用,然后不用的時候,這一千臺機器可以去干別的事情。誰能做這個事兒呢?只有云計算服務商(比如文中提到的易邁云),能夠為大數據的運算提供資源層面的靈活性。而云計算服務商也會部署大數據放到它的PaaS平臺上,作為一個非常重要的通用應用。因為大數據平臺能夠使得多臺機器一起干一個事兒,這個東西不是一般人或團隊能開發出來的,怎么也得雇個幾十上百號專業人才能把這個玩起來,所以說就像數據庫一樣,其實還是需要有一幫專業的人來玩這個東西。
現在公有云服務商(像易邁云)就提出了相應的大數據解決方案了,一個小公司需要大數據平臺的時候,不需要采購一千臺云主機,只要到易邁云的官網上一點,這一千臺機器都出來了,并且上面已經部署好了的大數據平臺,只要把數據放進去算就可以了。所以說,云計算需要大數據,大數據需要云計算,兩個技術就這樣結合了。
分享名稱:大數據擁抱云計算
文章地址:http://m.newbst.com/news29/104829.html
成都網站建設公司_創新互聯,為您提供外貿網站建設、網站制作、網站排名、網站策劃、網站改版、微信小程序
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容