MapReduce任務的數據傾斜一般指的是Reduce端數據傾斜，Map端怎么還會出現數據傾斜呢。~~

成都創新互聯公司服務項目包括臨桂網站建設、臨桂網站制作、臨桂網頁制作以及臨桂網絡營銷策劃等。多年來，我們專注于互聯網行業，利用自身積累的技術優勢、行業經驗、深度合作伙伴關系等，向廣大中小型企業、政府機構等提供互聯網行業的解決方案，臨桂網站推廣取得了明顯的社會效益與經濟效益。目前，我們服務的客戶以成都為中心已經輻射到臨桂省份的部分城市，未來相信會繼續擴大服務區域并繼續獲得客戶的支持與信任！

Mapper任務如下圖所示，其中一個map任務耗時特別長

跑了一個ETL程序，兩個Map分別讀取兩類數據，一個是lzo格式，另外一個是txt格式。

map任務通常是一個數據塊一個map，為什么其中一個map計算會如此耗時呢，分別查看兩個數據文件的分塊情況

輸入1有50個分塊

輸入2有11個分塊

查看任務一共才有52個map。map格式應該是50+11=61個才對。

有如下結論

MultipleInputs兩個輸入，有一個在數據輸入的時候沒有Split成功，考慮到其中一個輸入是lzo，極有可能是該文件沒有index索引造成。

于是檢查lzo文件所在目錄中，檢查是否存在lzo.index文件。

存在lzo.index文件，還能造成讀取數據沒有進行分塊處理，于是檢查代碼發現，在處理lzo文件的時候采用了TextInputFormat（代碼標紅位置處已修改為LzoTextInputFormat）。

所以沒有按照lzo.index進行文件分塊。一個lzo文件都在一個map里面進行計算處理。導致處理數據map個數不對，并且其中一個map處理耗時長。

if (commonPath != null && commonPath.length() != 0) {

MultipleInputs.addInputPath(job, new Path(commonPath.toString()), TextInputFormat.class, MidHotelMapper.class);

} else {

logger.error("輸入路徑為空:-->{}", conf.get(CommonConstant.COMMON_TASK_INPUT));

System.exit(-1);

}

if (ctripPath != null && ctripPath.length() != 0) {

MultipleInputs.addInputPath(job, new Path(ctripPath.toString()), LzoTextInputFormat.class, MidCtripHotelMapper.class);

} else {

logger.error("輸入路徑為空:-->{}", conf.get(Constant.CTRIP_TASK_INPUT));

System.exit(-1);

}

修改之前這ETL任務平均耗時在16分鐘左右。

修改之后，耗時只用2分鐘。

竟然用TextInputFormat跑了兩年的ETL。終于。。。有空查了一下修改過來

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章標題：【總結】一不小心的Map端數據傾斜-創新互聯
當前鏈接：http://m.newbst.com/article2/dcshoc.html

成都網站建設公司_創新互聯，為您提供定制網站、Google、App設計、網站設計、靜態網站、企業網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯