Hadoop HDFS Balancer

網站建設哪家好，找創新互聯！專注于網頁設計、網站建設、微信開發、小程序開發、集團企業網站建設等服務項目。為回饋新老客戶創新互聯還提供了灌云免費建站歡迎大家使用！

  Hadoop的HDFS集群非常容易出現機器與機器之間磁盤利用率不平衡的情況，比如集群中添加新的數據節點。當HDFS出現不平衡狀況的時候，將引發很多問題，比如MR程序無法很好地利用本地計算的優勢，機器之間無法達到更好的網絡帶寬使用率，機器磁盤無法利用等等。可見，保證HDFS中的數據平衡是非常重要的。

  在Hadoop中，包含一個Balancer程序，通過運行這個程序，可以使得HDFS集群達到一個平衡的狀態，使用這個程序的命令如下：

sh $HADOOP_HOME/bin/start-balancer.sh –t 10%

sh $HADOOP_HOME/bin/stop-balancer.sh

這個命令中-t參數后面跟的是HDFS達到平衡狀態的磁盤使用率偏差值。如果機器與機器之間磁盤使用率偏差小于10%，那么我們就認為HDFS集群已經達到了平衡的狀態。

  影響hadoop balance工具的幾個參數：

-threshold 默認設置：10，參數取值范圍：0-100，參數含義：判斷集群是否平衡的目標參數，每一個 datanode 存儲使用率和集群總存儲使用率的差值都應該小于這個閥值 ，理論上，該參數設置的越小，整個集群就越平衡，但是在線上環境中，hadoop集群在進行balance時，還在并發的進行數據的寫入和刪除，所以有可能無法到達設定的平衡參數值。

dfs.balance.bandwidthPerSec  默認設置：1048576（1 M/S），參數含義：設置balance工具在運行中所能占用的帶寬，設置的過大可能會造成mapred運行緩慢

  hadoop balance工具其他特點：

balance工具在運行過程中，迭代的將文件塊從高使用率的datanode移動到低使用率的datanode上，每一個迭代過程中移動的數據量不超過下面兩個值的較小者：10G或者指定閥值*容量，且每次迭代不超過20分鐘。每次迭代結束后，balance工具將更新該datanode的文件塊分布情況。以下為官方文檔英文描述：

The  tool moves  blocks from  highly utilized datanodes  to  poorly utilized datanodes iteratively. In each iteration a datanode moves or receives no more than the lesser of 10G bytes or the threshold fraction of its capacity. Each iteration runs no more than 20 minutes. At the end of each iteration, the balancer obtains updated datanodes information from the namenode.

    Hadoop的開發人員在開發Balancer程序的時候，遵循了以下幾點原則：

1.在執行數據重分布的過程中，必須保證數據不能出現丟失，不能改變數據的備份數，不能改變每一個rack中所具備的block數量。

2.系統管理員可以通過一條命令啟動數據重分布程序或者停止數據重分布程序。

3.Block在移動的過程中，不能暫用過多的資源，如網絡帶寬。

4.數據重分布程序在執行的過程中，不能影響name node的正常工作。

基于這些基本點，目前Hadoop數據重分布程序實現的邏輯流程如下圖所示：

Rebalance程序作為一個獨立的進程與name node進行分開執行。

1 Rebalance Server從Name Node中獲取所有的Data Node情況：每一個Data Node磁盤使用情況。

2 Rebalance Server計算哪些機器需要將數據移動，哪些機器可以接受移動的數據。并且從Name Node中獲取需要移動的數據分布情況。

3 Rebalance Server計算出來可以將哪一臺機器的block移動到另一臺機器中去。

4,5,6 需要移動block的機器將數據移動的目的機器上去，同時刪除自己機器上的block數據。

7  Rebalance Server獲取到本次數據移動的執行結果，并繼續執行這個過程，一直沒有數據可以移動或者HDFS集群以及達到了平衡的標準為止。

Hadoop現有的這種Balancer程序工作的方式在絕大多數情況中都是非常適合的。

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

標題名稱：HadoopHDFSBalancer-創新互聯
網站URL：http://m.newbst.com/article16/dehhdg.html

成都網站建設公司_創新互聯，為您提供網站建設、App開發、網站營銷、微信公眾號、Google、云服務器

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯