創(chuàng)新互聯(lián)于2013年開(kāi)始，先為湘西土家族等服務(wù)建站，湘西土家族等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為湘西土家族企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

Application

用戶編寫(xiě)的Spark應(yīng)用程序。Application的main方法為應(yīng)用程序的入口，用戶通過(guò)Spark的API，定義了RDD和對(duì)RDD的操作。

Job

提供給Spark運(yùn)行的作業(yè)，一個(gè)Application中以Action為劃分邊界往往會(huì)產(chǎn)生多個(gè)Job。Spark采用惰性機(jī)制，對(duì)RDD的創(chuàng)建和轉(zhuǎn)換并不會(huì)立即執(zhí)行，只有在遇到Action時(shí)才會(huì)生成一個(gè)Job，然后統(tǒng)一調(diào)度執(zhí)行。

Stage

每個(gè)Job以Shuffle為邊界劃分出的不同階段， 其名稱為Stage。Stage有非最終的Stage（Shuffle Map Stage）和最終的Stage（Result Stage）兩種。

在對(duì)Job中的所有操作劃分Stage時(shí)，一般會(huì)按照倒序進(jìn)行：即從Action開(kāi)始，遇到窄依賴操作，則劃分到同一個(gè)執(zhí)行階段；遇到寬依賴操作，則劃分一個(gè)新的執(zhí)行階段，且新的階段為之前階段的parent，然后依次類(lèi)推遞歸執(zhí)行。child Stage需要等待所有的parent Stage執(zhí)行完之后才可以執(zhí)行，這時(shí)Stage之間根據(jù)依賴關(guān)系構(gòu)成了一個(gè)大粒度的DAG。在一個(gè)Stage內(nèi)，所有的操作以串行的Pipeline的方式，由一組Task完成計(jì)算。

Task

真正執(zhí)行的工作單元，對(duì)一個(gè)Stage之內(nèi)的RDD進(jìn)行串行操作的計(jì)算任務(wù)。多個(gè)Task組成一個(gè)Stage。

Task分為ShuffleMapTask和ResultTask兩種，位于最后一個(gè)Stage的Task為ResultTask，其他階段的屬于ShuffleMapTask。

Cluster Manager

在集群上獲取資源的外部服務(wù)。Cluster Manager可以為自帶的Standalone、或第三方的Yarn和Mesos。

Cluster Manager一般采用Master-Slave結(jié)構(gòu)。以Yarn為例，部署ResourceManager服務(wù)的節(jié)點(diǎn)為Master，負(fù)責(zé)集群中所有計(jì)算資源的統(tǒng)一管理和分配；部署NodeManager服務(wù)的節(jié)點(diǎn)為Slave，負(fù)責(zé)在當(dāng)前節(jié)點(diǎn)創(chuàng)建一個(gè)或多個(gè)具備獨(dú)立計(jì)算能力的JVM實(shí)例，在Spark中，這些節(jié)點(diǎn)也叫做Worker。

Executor

某個(gè)Application運(yùn)行在worker節(jié)點(diǎn)上的一個(gè)進(jìn)程，? 該進(jìn)程負(fù)責(zé)運(yùn)行某些Task，并將結(jié)果返回給Driver，同時(shí)為需要緩存的RDD提供存儲(chǔ)功能。

Driver

準(zhǔn)備Spark應(yīng)用程序的運(yùn)行環(huán)境，負(fù)責(zé)執(zhí)行用戶Application中的main方法，提交Job，并將Job轉(zhuǎn)化為T(mén)ask，在各個(gè)Executor進(jìn)程間協(xié)調(diào)Task的調(diào)度。

Spark有Client和Cluster兩種部署模式。Application以Client模式部署時(shí)，Driver運(yùn)行于Client節(jié)點(diǎn)；而以Cluster模式部署時(shí)，Driver運(yùn)行于Worker節(jié)點(diǎn)，與Executor一樣由Cluster Manager啟動(dòng)。

DAGScheduler

根據(jù)Job構(gòu)建DAG圖，將Job拆分成多個(gè)Stage并提交給TaskScheduler。

TaskScheduler

將Stage拆分成多個(gè)Task并提交給worker運(yùn)行，Executor運(yùn)行什么Task就是在此處分配的。

---

忠于技術(shù)，熱愛(ài)分享。歡迎關(guān)注公眾號(hào)：java大數(shù)據(jù)編程，了解更多技術(shù)內(nèi)容。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：2.spark基本概念-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)URL：http://m.newbst.com/article10/hjjdo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、網(wǎng)頁(yè)設(shè)計(jì)公司、服務(wù)器托管、網(wǎng)站制作、全網(wǎng)營(yíng)銷(xiāo)推廣、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)