眾所周知，大數(shù)據(jù)正在以驚人的速度增長，幾乎觸及各行各業(yè)，許多組織都被迫尋找新的創(chuàng)造性方法來管理和控制如此龐大的數(shù)據(jù)，當(dāng)然這么做的目的不只是管理和控制數(shù)據(jù)，而是要分析和挖掘其中的價(jià)值，來促進(jìn)業(yè)務(wù)的發(fā)展。

為望都等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及望都網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站制作、望都網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

想要深入發(fā)展大數(shù)據(jù)，閉門造車是不可能的，共通共融是現(xiàn)在趨勢，因此，開源讓越來越多的項(xiàng)目可以直接采用大數(shù)據(jù)技術(shù)。如今，從小型初創(chuàng)企業(yè)到行業(yè)巨頭，各種規(guī)模的供應(yīng)商都在使用開源來處理大數(shù)據(jù)和運(yùn)行預(yù)測分析。借助開源與云計(jì)算技術(shù)，新興公司甚至在很多方面都可以與大廠商抗衡。

開源大數(shù)據(jù)的優(yōu)勢不言而喻，但在眾多的開源工具中該如何抉擇？本文中大數(shù)據(jù)領(lǐng)域的十個(gè)巨頭，將有助于你更深入掌握大數(shù)據(jù)這個(gè)行業(yè)的發(fā)展形勢。

Hadoop——高效、可靠、可伸縮，能夠?yàn)槟愕臄?shù)據(jù)存儲(chǔ)項(xiàng)目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運(yùn)行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。

Spark——使用簡單、支持所有重要的大數(shù)據(jù)語言(Scala、Python、Java、R)。擁有強(qiáng)大的生態(tài)系統(tǒng)，成長迅速，對microbatching/batching/SQL支持簡單。Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

NiFi——Apache NiFi是由美國國家安全局(NSA)貢獻(xiàn)給Apache基金會(huì)的開源項(xiàng)目，其設(shè)計(jì)目標(biāo)是自動(dòng)化系統(tǒng)間的數(shù)據(jù)流?；谄涔ぷ髁魇降木幊汤砟?，NiFi非常易于使用、強(qiáng)大、可靠、高可配置。兩個(gè)最重要的特性是其強(qiáng)大的用戶界面和良好的數(shù)據(jù)回溯工具。堪稱大數(shù)據(jù)工具箱里的瑞士軍刀。

Apache Hive 2.1——Hive是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在 Hadoop 中的大規(guī)模數(shù)據(jù)的機(jī)制。隨著最新版本的發(fā)布，性能和功能都得到了全面提升，Hive已成為SQL在大數(shù)據(jù)上的最佳解決方案。

Kafka——Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。它已成為大數(shù)據(jù)系統(tǒng)在異步和分布式消息之間的最佳選擇。從Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了強(qiáng)大的粘合作用。

Phoenix—是HBase的SQL驅(qū)動(dòng)。目前大量的公司采用它，并擴(kuò)大其規(guī)模。HDFS支持的NoSQL能夠很好地集成所有工具。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBase scan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。

Zeppelin——Zeppelin 是一個(gè)提供交互數(shù)據(jù)分析且基于Web的筆記本。方便你做出可數(shù)據(jù)驅(qū)動(dòng)的、可交互且可協(xié)作的精美文檔，并且支持多種語言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

Sparkling Water——H2O填補(bǔ)了Spark’s Machine Learning的缺口，它可以滿足你所有的機(jī)器學(xué)習(xí)。

Apache Beam——在Java中提供統(tǒng)一的數(shù)據(jù)進(jìn)程管道開發(fā)，并且能夠很好地支持Spark和Flink。提供很多在線框架，開發(fā)者無需學(xué)習(xí)太多框架。

Stanford CoreNLP——自然語言處理擁有巨大的增長空間，斯坦福正在努力增進(jìn)他們的框架。

新聞標(biāo)題：大數(shù)據(jù)領(lǐng)域開源技術(shù)除了Hadoop你還知道哪些
標(biāo)題URL：http://m.newbst.com/article24/chgoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、網(wǎng)站收錄、定制網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站排名、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)