本篇內容主要講解“如何構造分布式Hadoop2.2.0集群”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“如何構造分布式Hadoop2.2.0集群”吧!
成都創新互聯專注于成都做網站、網站建設、網頁設計、網站制作、網站開發。公司秉持“客戶至上,用心服務”的宗旨,從客戶的利益和觀點出發,讓客戶在網絡營銷中找到自己的駐足之地。尊重和關懷每一位客戶,用嚴謹的態度對待客戶,用專業的服務創造價值,成為客戶值得信賴的朋友,為客戶解除后顧之憂。
1,在Windows 7(本教程中的Spark集群運行的機器是8G的Windows內存)上安裝VMware虛擬機(我們安裝的是VMware-workstation-full-9.0.2)
2,在VMvare中裝三臺Ubuntu機器(我們使用的是ubuntu-12.10-desktop-i386),每臺機器分配2G的內存
1,在Windows 7(本教程中的Spark集群運行的機器是8G的Windows內存)上安裝VMware虛擬機(我們安裝的是VMware-workstation-full-9.0.2)
3,分別在三臺Ubuntu機器中設置root用戶機器密碼,以后每次登錄的時候都是用root用戶登錄,具體設置方式如下:
sudo -s進入 root用戶權限模式
vim /etc/lightdm/lightdm.conf
[SeatDefaults]
greeter-session=unity-greeter
user-session=Ubuntu
greeter-show-manual-login=true
allow-guest=false
啟動root帳號:
sudo passwd root
三臺機器修改后,再次登錄系統的時候用root用戶登錄:
4,配置三臺機器的/etc/hosts和/etc/hostname并安裝ssh設置三臺機器之間的無密碼登錄,具體步驟可參考Spark實戰高手之路-第一章的第一節 http://t.cn/RPo13rO 和Spark實戰高手之路第一章的第二節http://t.cn/RP9klmr 我們在“/etc/hostname”文件中把三臺機器的hostname分別設置了SparkMaster、SparkWorker1、SparkWorker2并在每臺機器的“/etc/hosts”配置如下IP和機器名稱的對應關系:
配置好三天機器相互通信的ssh后會發現三臺機器可以相互使用ssh無密碼登錄:
5,在三臺Ubuntu機器上安裝Java
安裝完成的可以驗證一下:
三臺Ubuntu機器分別出現上述信息就表明Java安裝正確。
6,在SparkMaster這臺機器上安裝Hadoop 2.2.0,Hadoop 2.2.0的下載地址為:
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/
我們下載的是“hadoop-2.2.0.tar.gz ”,如下圖所示:
到此,相信大家對“如何構造分布式Hadoop2.2.0集群”有了更深的了解,不妨來實際操作一番吧!這里是創新互聯網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
當前標題:如何構造分布式Hadoop2.2.0集群
文章URL:http://m.newbst.com/article20/jeihco.html
成都網站建設公司_創新互聯,為您提供網站制作、響應式網站、建站公司、靜態網站、電子商務、外貿建站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯