這篇文章主要講解了“Map和Reduce的Task數(shù)目由哪些因素決定”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Map和Reduce的Task數(shù)目由哪些因素決定”吧！

高唐網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、響應式網(wǎng)站等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)成立與2013年到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)。

在不指定的情況下，Map 和Reduce Task 的數(shù)目由這樣幾個因素決定：

1.輸入數(shù)據(jù)的塊數(shù)，Map 輸出數(shù)據(jù)的塊數(shù)(Reduce數(shù)量是可以設定)，一個塊一般由一個task 來處理（一般，即文件格式是否支持切分）

2.輸入數(shù)據(jù)的文件數(shù)量。一個文件至少需要1 個task 來處理（至少，即一個文件可能是存儲于多個文件塊）

3.是否對數(shù)據(jù)進行了壓縮，壓縮格式是否可切分（Splitable），如果不可分，即使文件大于64M，也只能由一個task 來處理 （不支持切分，順序讀取）

感謝各位的閱讀，以上就是“Map和Reduce的Task數(shù)目由哪些因素決定”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對Map和Reduce的Task數(shù)目由哪些因素決定這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

當前名稱：Map和Reduce的Task數(shù)目由哪些因素決定
本文地址：http://m.newbst.com/article12/ggpegc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、全網(wǎng)營銷推廣、微信小程序、品牌網(wǎng)站建設、網(wǎng)頁設計公司、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)