hadoop3種集群方式包括獨立模式、偽分布式模式和完全分布式模式

成都創新互聯是一家集網站建設,合水企業網站建設,合水品牌網站建設,網站定制,合水網站建設報價,網絡營銷,網絡優化,合水網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力。可充分滿足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

1獨立模式

安裝

a)下載jdk-8u65-linux-x64.tar.gz

b)tar開

$>su centos ; cd ~

$>mkdir downloads

$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

$>tar -xzvf jdk-8u65-linux-x64.tar.gz

c)創建/soft文件夾

$>sudo mkdir /soft

$>sudo chown centos:centos /soft

d)移動tar開的文件到/soft下

$>mv ~/downloads/jdk-1.8.0_65 /soft/

e)創建符號連接

$>ln -s /soft/jdk-1.8.0_65 /soft/jdk

f)驗證jdk安裝是否成功

$>cd /soft/jdk/bin

$>./java -version

配置jdk環境變量

1.編輯/etc/profile

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

2.使環境變量即刻生效

$>source /etc/profile

3.進入任意目錄下,測試是否ok

$>cd ~

$>java -version

注意點

你創建文件夾一定和你登陸的用戶一致

安裝HADOOP軟件

 1.安裝hadoop

a)下載hadoop-2.7.3.tar.gz

b)tar開

$>su centos ; cd ~

$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

$>tar -xzvf hadoop-2.7.3.tar.gz

c)無

d)移動tar開的文件到/soft下

$>mv ~/downloads/hadoop-2.7.3 /soft/

e)創建符號連接

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

f)驗證hadoop安裝是否成功

$>cd /soft/hadoop/bin

$>./hadoop version

2.配置hadoop環境變量

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

4.進入任意目錄下,測試是否ok

$>cd ~

$>hadoop version

5.nothing !

不需要啟用單獨的hadoop進程。

6.hafs dfs -ls /home 和 linux中的ls效果一樣

偽分布模式（Pseudodistributed mode）

a)進入${HADOOP_HOME}/etc/hadoop目錄

三種模式共存

1.創建三個配置目錄,內容等同于hadoop目錄

${hadoop_home}/etc/local

${hadoop_home}/etc/pesudo

${hadoop_home}/etc/full

2.創建符號連接

$>ln -spesudo hadoop

b)編輯core-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

c)編輯hdfs-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

d)編輯mapred-site.xml

注意:cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

e)編輯yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

f)配置SSH

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享文章：hadoop3種集群方式-創新互聯
文章鏈接：http://m.newbst.com/article4/dcgeie.html

成都網站建設公司_創新互聯，為您提供品牌網站設計、域名注冊、網站內鏈、品牌網站建設、移動網站建設、云服務器

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯