免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

Spark 靜態(tài)內(nèi)存管理詳解

2021-02-09    分類: 網(wǎng)站建設(shè)

一 內(nèi)容簡介

spark從1.6開始引入了動態(tài)內(nèi)存管理模式,即執(zhí)行內(nèi)存和存儲內(nèi)存之間可以互相搶占。spark提供兩種內(nèi)存分配模式:靜態(tài)內(nèi)存管理和動態(tài)內(nèi)存管理。本系列文章分別對這兩種內(nèi)存管理模式的優(yōu)缺點以及設(shè)計原理進行了分析。主要針對spark1.6靜態(tài)內(nèi)存管理進行了分析與說明。

二 內(nèi)存空間分配

在 Spark 最初采用的靜態(tài)內(nèi)存管理機制下,存儲內(nèi)存、執(zhí)行內(nèi)存和其他內(nèi)存的大小在 Spark 應(yīng)用程序運行期間均為固定的,但用戶可以應(yīng)用程序啟動前進行配置,堆內(nèi)內(nèi)存的分配如下圖所示:


三 Execution 內(nèi)存

可用的Execution內(nèi)存

用于shuffle聚合內(nèi)存,取決于joins,sorts,aggregations等過程中頻繁的IO需要的Buffer臨時數(shù)據(jù)存儲。

簡單來說,spark在shuffle write的過程中,每個executor會將數(shù)據(jù)寫到該executor的物理磁盤上,下一個stage的task會去上一個stage拉取其需要處理的數(shù)據(jù),并且是邊拉取邊進行處理的(和MapReduce的拉取合并數(shù)據(jù)基本一樣),這個時候會用一個aggregate的數(shù)據(jù)結(jié)構(gòu),比如hashmap邊拉取數(shù)據(jù)邊進行聚合。這部分內(nèi)存就被稱做execution內(nèi)存。

從getMaxExecutironMemory方法可知,每個executor分配給execution的內(nèi)存為:Execution Memory = systemMaxMemory *memoryFraction(默認0.2) * safetyFraction(默認0.8), 默認為 executor 大可用內(nèi)存 * 0.16。


技術(shù)專欄|Spark 靜態(tài)內(nèi)存管理詳解

Execution內(nèi)存在運行時會被分配給運行在JVM上的task。這里不同的是,分配給每個task的內(nèi)存并不是固定的,而是動態(tài)的。spark不是一上來就分配固定大小的內(nèi)存塊給task,而是允許一個task占據(jù)JVM所有execution內(nèi)存。

每個JVM上的task可以最多申請至多1/N的execution內(nèi)存(N為active task的個數(shù),由spark.executor.cores指定)。如果task的申請沒有被批準,它會釋放一部分內(nèi)存,并且下次申請的時候,它會申請更小的一部分內(nèi)存。

注意:為了防止過多的spilling(evict)數(shù)據(jù),只有當一個task分配到的內(nèi)存達到execution內(nèi)存1/(2N)的時候才會spill, 如果目前空閑的內(nèi)存達不到1/(2N)的時候, 內(nèi)存申請會被阻塞直到其他的taskspill掉它們的內(nèi)存。如果不這樣限制,假設(shè)當前有一個任務(wù)占據(jù)了絕大部分內(nèi)存,那么新來的task會一直往硬盤spill數(shù)據(jù),這樣就會導致比較嚴重的I/O問題。

舉個例子, 某executor先啟動一個task A,并在task B啟動前快速占用了所有可用內(nèi)存。(B啟動后)N變成2,task B會阻塞直到task A spill,自己可獲得1/(2N)=1/4的execution內(nèi)存。而一旦task B獲取到了1/4的內(nèi)存,A和B就都有可能spill了。

預(yù)留內(nèi)存

Spark之所以有一個SafetyFraction這樣的參數(shù),是為了避免潛在的OOM。例如,進行計算時,有一個提前未預(yù)料到的比較大的數(shù)據(jù),會導致計算時間延長甚至OOM, safetyFraction為storage和execution 都提供了額外的buffer以防止此類的數(shù)據(jù)傾斜。這部分內(nèi)存叫做預(yù)留內(nèi)存。

四 Storage內(nèi)存

可用的Storage內(nèi)存

該部分內(nèi)存用作對RDD的緩存(如調(diào)用cache,persist等方法),節(jié)點間傳輸?shù)膹V播變量。

從StaticMemoryManager的單例對象中可知,最后為每個executor分配到的關(guān)于storage的內(nèi)存:

StorageMemory=systemMaxMemory*storageMemoryFraction(默認0.6)*safetyFraction(默認為0.9)=0.54,

也就是說 默認分配executor 大可用內(nèi)存的 *0.54。源碼如下:

技術(shù)專欄|Spark 靜態(tài)內(nèi)存管理詳解

預(yù)留內(nèi)存

同Execution內(nèi)存中的預(yù)留部分。

Unroll

unroll是storage中比較特殊的一部分,它默認占據(jù)總內(nèi)存的20%。

BlockManager是spark自己實現(xiàn)的內(nèi)部分布式文件系統(tǒng),BlockManager接受數(shù)據(jù)(可能從本地或者其他結(jié)點)的時候是以iterator的形式,并且這些數(shù)據(jù)有序列化和非序列化的。需要注以下兩點:

a) iterator在物理內(nèi)存上是不連續(xù)的,如果后續(xù)spark要把數(shù)據(jù)裝載進內(nèi)存的話,就需要把這些數(shù)據(jù)放進一個array(物理上連續(xù))。

b) 另外,序列化數(shù)據(jù)需要進行展開,如果直接展開序列化的數(shù)據(jù),會造成OOM, 所以,BlockManager會逐漸的展開這個iterator,并逐漸檢查內(nèi)存里是否還有足夠的空間用來展開數(shù)據(jù)放進array里。

技術(shù)專欄|Spark 靜態(tài)內(nèi)存管理詳解

unroll的優(yōu)先級還是比較高的,它使用的內(nèi)存空間可以從storage中借用,如果在storage中沒有現(xiàn)存的數(shù)據(jù)block,它甚至可以占據(jù)整個storage空間。如果storage中有數(shù)據(jù)block,它可以大drop掉內(nèi)存的數(shù)據(jù)是以spark.storage.unrollFraction來控制的。由圖6可知,這部分默認為storage的20%。

注意:這個20%的空間并不是靜態(tài)保留的,而是通過drop掉內(nèi)存中的數(shù)據(jù)block來分配的。如果unroll失敗了,spark會把這部分數(shù)據(jù)evict 到硬盤。

五 Other 部分

這片內(nèi)存用于程序本身運行所需的內(nèi)存,以及用戶定義的數(shù)據(jù)結(jié)構(gòu)和創(chuàng)建的對象,此內(nèi)存有上面兩部分決定,默認為0.2。

六 局限性

spark的設(shè)計文檔中指出靜態(tài)內(nèi)存有以下局限性:

(1)沒有適用于所有應(yīng)用的默認配置,通常需要開發(fā)人員針對不同的應(yīng)用進行不同的參數(shù)配置。比如根據(jù)任務(wù)的執(zhí)行邏輯,調(diào)整shuffle和storage內(nèi)存占比來適應(yīng)任務(wù)的需求。

(2) 這樣需要開發(fā)人員具備較高的spark原理知識。

(3) 那些不cache數(shù)據(jù)的應(yīng)用在運行時只占用一小部分可用內(nèi)存,因為默認的內(nèi)存配置中,storage用去了safety內(nèi)存的60%。

概念補充

eviction策略:在spark技術(shù)文檔中,eviction一詞經(jīng)常出現(xiàn)。eviction并不是單純字面上驅(qū)逐的意思。說句題外話,spark我們通常都把它叫做內(nèi)存計算框架,嚴格意義來說,spark并不是內(nèi)存計算的新技術(shù)。無論是cache還是persist這類算子,spark在內(nèi)存安排上,絕大多數(shù)用的都是LRU策略(LRU可以說是一種算法,也可以算是一種原則,用來判斷如何從Cache中清除對象,而LRU就是“近期最少使用”原則,當Cache溢出時,最近最少使用的對象將被從Cache中清除)。即當內(nèi)存不夠的時候,會evict掉最遠使用過的內(nèi)存數(shù)據(jù)block。當evict的時候,spark會將該數(shù)據(jù)塊evict到硬盤,而不是單純的拋棄掉。

無論是storage還是execution的內(nèi)存空間,當內(nèi)存區(qū)域的空間不夠用的時候,spark都會evict數(shù)據(jù)到硬盤。

因此,如果開發(fā)人員在內(nèi)存分配上沒有合理的進行分配,無論是在storage還是execution超過內(nèi)存的限制的時候,spark會把內(nèi)存的數(shù)據(jù)寫到硬盤。如果是storage的情況,甚至可能把內(nèi)存的數(shù)據(jù)全部寫到硬盤并丟掉。這樣做,無疑會增加系統(tǒng)調(diào)用、I/O以及重復計算的開銷。有過開發(fā)spark任務(wù)中包含大量shuffle stage的同學應(yīng)該有同感,shuffle memory不夠的時候,spill到硬盤的數(shù)據(jù)會很大,導致任務(wù)很慢,甚至會導致任務(wù)的各種重試最后任務(wù)fail掉。這種情況建議提高shuffle memory fraction。如果是資源調(diào)度在yarn上,建議通過spark.yarn.executor.memoryOverhead提高堆外內(nèi)存,有的時候甚至會調(diào)到2g,3g,4g直到任務(wù)成功。spark相關(guān)優(yōu)化,請參見spark系列后續(xù)的文章。

新聞名稱:Spark 靜態(tài)內(nèi)存管理詳解
網(wǎng)頁鏈接:http://m.newbst.com/news48/100098.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站營銷標簽優(yōu)化網(wǎng)站制作微信小程序全網(wǎng)營銷推廣服務(wù)器托管

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站建設(shè)網(wǎng)站維護公司