1 MapReduce 跑的慢的原因

創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網綜合服務，包含不限于成都網站建設、成都做網站、彌勒網絡推廣、微信平臺小程序開發(fā)、彌勒網絡營銷、彌勒企業(yè)策劃、彌勒品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學生創(chuàng)業(yè)者提供彌勒建站搭建服務，24小時服務熱線：18982081108，官方網址：m.newbst.com

2 MapReduce 優(yōu)化方法

MapReduce優(yōu)化方法主要從六個方面考慮：數(shù)據(jù)輸入、Map階段、Reduce階段、IO傳輸、數(shù)據(jù)傾斜問題和常用的調優(yōu)參數(shù)。

2.1 數(shù)據(jù)輸入

2.2 Map 階段

2.3 Reduce 階段

2.4 IO 傳輸

2.5 數(shù)據(jù)傾斜問題

2.6 常用的調優(yōu)參數(shù)

2.6.1 資源相關參數(shù)

以下參數(shù)是在用戶自己的MR應用程序中配置就可以生效[mapred-default.xml]

配置參數(shù)	參數(shù)說明
mapreduce.map.memory.mb	一個MapTask可使用的資源上限（單位:MB），默認為1024。如果MapTask實際使用的資源量超過該值，則會被強制殺死
mapreduce.reduce.memory.mb	一個ReduceTask可使用的資源上限（單位:MB），默認為1024。如果ReduceTask實際使用的資源量超過該值，則會被強制殺死
mapreduce.map.cpu.vcores	每個MapTask可使用的最多cpu core數(shù)目，默認值: 1
mapreduce.reduce.cpu.vcores	每個ReduceTask可使用的最多cpu core數(shù)目，默認值: 1
mapreduce.reduce.shuffle.parallelcopies	每個Reduce去Map中取數(shù)據(jù)的并行數(shù)。默認值是5
mapreduce.reduce.shuffle.merge.percent	Buffer中的數(shù)據(jù)達到多少比例開始寫入磁盤。默認值0.66
mapreduce.reduce.shuffle.input.buffer.percent	Buffer大小占Reduce可用內存的比例。默認值0.7
mapreduce.reduce.input.buffer.percent	指定多少比例的內存用來存放Buffer中的數(shù)據(jù)，默認值是0.0

應該在YARN啟動之前就配置在服務器的配置文件中才能生效[yarn-default.xml]

配置參數(shù)	參數(shù)說明
yarn.scheduler.minimum-allocation-mb	給應用程序Container分配的最小內存，默認值：1024
yarn.scheduler.maximum-allocation-mb	給應用程序Container分配的最大內存，默認值：8192
yarn.scheduler.minimum-allocation-vcores	每個Container申請的最小CPU核數(shù)，默認值：1
yarn.scheduler.maximum-allocation-vcores	每個Container申請的最大CPU核數(shù)，默認值：32
yarn.nodemanager.resource.memory-mb	給Containers分配的最大物理內存，默認值：8192

Shuffle性能優(yōu)化的關鍵參數(shù)，應在YARN啟動之前就配置好[mapred-default.xml]

配置參數(shù)	參數(shù)說明
mapreduce.task.io.sort.mb	Shuffle的環(huán)形緩沖區(qū)大小，默認100m
mapreduce.map.sort.spill.percent	環(huán)形緩沖區(qū)溢出的閾值，默認80%

2.6.2 容錯相關參數(shù)(MapReduce性能優(yōu)化)

配置參數(shù)	參數(shù)說明
mapreduce.map.maxattempts	每個Map Task最大重試次數(shù)，一旦重試參數(shù)超過該值，則認為Map Task運行失敗，默認值：4
mapreduce.reduce.maxattempts	每個Reduce Task最大重試次數(shù)，一旦重試參數(shù)超過該值，則認為Map Task運行失敗，默認值：4
mapreduce.task.timeout	Task超時時間，經常需要設置的一個參數(shù)，該參數(shù)表達的意思為：如果一個Task在一定時間內沒有任何進入，即不會讀取新的數(shù)據(jù)，也沒有輸出數(shù)據(jù)，則認為該Task處于Block狀態(tài)，可能是卡住了，也許永遠會卡住，為了防止因為用戶程序永遠Block住不退出，則強制設置了一個該超時時間（單位毫秒），默認是600000。如果你的程序對每條輸入數(shù)據(jù)的處理時間過長（比如會訪問數(shù)據(jù)庫，通過網絡拉取數(shù)據(jù)等），建議將該參數(shù)調大，該參數(shù)過小常出現(xiàn)的錯誤提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”

3 HDFS 小文件優(yōu)化方法

3.1 HDFS 小文件弊端

HDFS 上每個文件都要在 NameNode 上建立一個索引，這個索引的大小約為 150byte，這樣當小文件比較多的時候，就會產生很多的索引文件，一方面會大量占用 NameNode 的內存空間，另一方面就是索引文件過大使得索引速度變慢。

3.2 HDFS小文件解決方案

小文件的優(yōu)化無非以下幾種方式：

• 在數(shù)據(jù)采集的時候，就將小文件或小批數(shù)據(jù)合成大文件再上傳 HDFS。
• 在業(yè)務處理之前，在 HDFS 上使用MapReduce程序對小文件進行合并。
• 在 MapReduce 處理時，可采用 CombineTextInputFormat 提高效率。
  

當前題目：Hadoop企業(yè)優(yōu)化
瀏覽地址：http://m.newbst.com/article30/isghpo.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、建站公司、網站內鏈、商城網站、網站維護、企業(yè)建站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)