本文結合HDFS的副本和分塊從宏觀上描述HDFS存入文件的整個流程。HDFS體系中包含Client、NameNode、DataNode、SeconderyNameode四個角色，其中Client是客戶端，NN負責管理，DN負責存儲、SN協助管理。

創新互聯是一家專注于網站建設、網站設計與策劃設計,張家川回族自治網站建設哪家好?創新互聯做網站,專注于網站建設十余年,網設計領域的專業建站公司;建站業務涵蓋:張家川回族自治等地區。張家川回族自治做網站價格咨詢:13518219792

先來看一個官網上的圖

# 圖 0 -HDFS的體系結構

HDFS的副本存儲有如下規則：

1.client將第一副本放到最靠近的一臺DN

2.第二副本優先放到另一個機架

3.以此類推，盡量保證副本放在不同的機架

由于副本和分塊機制的存在，當從本地文件系統向HDFS上傳文件時，其內部的流程相對比較復雜，可以通過下圖及步驟說明進行理解。

# 圖 1-1 -hdfs副本存儲機制（3副本）

A.對于可存于單塊的小文件：

1.client向NN（NameNode）發起存儲請求，

2.NN查找自身是否已有相應的文件，

3.若無則，NN向client返回DN1（DataNode）路徑，

4.client向DN1傳送副本，

5.DN1通過管道異步向DN2傳副本，

6.DN2通過管道異步向DN3傳副本，

7.DN3通知DN2接收完成，

8.DN2通知DN1接收完成，

9.DN1通知NN接收完成。

B.對于需要分塊的大文件：

大致流程同上，但在步驟3NN還會進行塊的劃分，隨后步驟4client會將各塊分別發送到分配的DN執行步驟4~9

從前述可見，在向HDFS傳輸文件的過程中，NameNode節點至關重要。NN負責掌管元數據。其作用相當于物理硬盤中的文件分配表FAT，NN中的數據如果發生丟失，DN中存儲的數據也就沒有了意義。

# 圖 1-2 -NN元數據存儲機制

1.client向NN請求寫，

2.NN將分配block寫入editslog文件，

3.NN響應client，

4.client向DN寫文件，

5.client通知NN寫完成，

6.NN將editslog更新到內存。

ps：常用及最新元數據放在內存，最新元數據放editslog，老元數據放fsimage，editslog寫滿之前將edits log（新元數據）轉換并合并到fsimage。

# 圖 1-3 -edits log合并機制

當editslog寫滿：

1.NN通知SecondryNameNode執行checkpoint操作，

2.NN停止向已滿editslog寫入，

3.NN創建新edits log維持寫入，

4.SN下載NN的fsimage和已滿editslog，

5.SN執行合并生成fsimage。checkpoint，

6.SN向NN上傳fsi。cp，

7.NN將fsi。cp改名fsimage，

8.NN刪除已滿editslog。

# 圖3 -元數據格式：文件全路徑，副本數，塊編號，塊-所在DN的映射。

睿江云官網鏈接：https://www.eflycloud.com/home?from=RJ0035

另外有需要云服務器可以了解下創新互聯cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享題目：HDFS存入文件的整個流程-創新互聯
文章位置：http://m.newbst.com/article40/jgseo.html

成都網站建設公司_創新互聯，為您提供建站公司、網站設計公司、軟件開發、外貿網站建設、響應式網站、域名注冊

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯