GitChat·大數(shù)據(jù) | 史上最詳細(xì)的Hadoop環(huán)境搭建

燕相識歸來 2017-09-11

展開全文

前言

Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要，Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ)，對Hadoop基礎(chǔ)知識的掌握的扎實(shí)程度，會決定在大數(shù)據(jù)技術(shù)道路上走多遠(yuǎn)。

這是一篇入門文章，Hadoop的學(xué)習(xí)方法很多，網(wǎng)上也有很多學(xué)習(xí)路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構(gòu)組成、各模塊協(xié)同工作原理、技術(shù)細(xì)節(jié)。安裝不是目的，通過安裝認(rèn)識Hadoop才是目的。

本文分為五個部分、十三節(jié)、四十九步。

第一部分：Linux環(huán)境安裝

Hadoop是運(yùn)行在Linux，雖然借助工具也可以運(yùn)行在Windows上，但是建議還是運(yùn)行在Linux系統(tǒng)上，第一部分介紹Linux環(huán)境的安裝、配置、Java JDK安裝等。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用于本地開發(fā)調(diào)試，或者快速安裝體驗(yàn)Hadoop，這部分做簡單的介紹。

第三部分：Hadoop偽分布式模式安裝

學(xué)習(xí)Hadoop一般是在偽分布式模式下進(jìn)行。這種模式是在一臺機(jī)器上各個進(jìn)程上運(yùn)行Hadoop的各個模塊，偽分布式的意思是雖然各個模塊是在各個進(jìn)程上分開運(yùn)行的，但是只是運(yùn)行在一個操作系統(tǒng)上的，并不是真正的分布式。

第四部分：完全分布式安裝

完全分布式模式才是生產(chǎn)環(huán)境采用的模式，Hadoop運(yùn)行在服務(wù)器集群上，生產(chǎn)環(huán)境一般都會做HA，以實(shí)現(xiàn)高可用。

第五部分：Hadoop HA安裝

HA是指高可用，為了解決Hadoop單點(diǎn)故障問題，生產(chǎn)環(huán)境一般都做HA部署。這部分介紹了如何配置Hadoop2.x的高可用，并簡單介紹了HA的工作原理。
安裝過程中，會穿插簡單介紹涉及到的知識。希望能對大家有所幫助。
?

第一部分：Linux環(huán)境安裝

第一步、配置Vmware NAT網(wǎng)絡(luò)

一、Vmware網(wǎng)絡(luò)模式介紹

參考：http://blog.csdn.net/collection4u/article/details/14127671

二、NAT模式配置

NAT是網(wǎng)絡(luò)地址轉(zhuǎn)換，是在宿主機(jī)和虛擬機(jī)之間增加一個地址轉(zhuǎn)換服務(wù)，負(fù)責(zé)外部和虛擬機(jī)之間的通訊轉(zhuǎn)接和IP轉(zhuǎn)換。

我們部署Hadoop集群，這里選擇NAT模式，各個虛擬機(jī)通過NAT使用宿主機(jī)的IP來訪問外網(wǎng)。

我們的要求是集群中的各個虛擬機(jī)有固定的IP、可以訪問外網(wǎng)，所以進(jìn)行如下設(shè)置：

1、 Vmware安裝后，默認(rèn)的NAT設(shè)置如下：

enter image description here

2、默認(rèn)的設(shè)置是啟動DHCP服務(wù)的，NAT會自動給虛擬機(jī)分配IP，但是我們需要將各個機(jī)器的IP固定下來，所以要取消這個默認(rèn)設(shè)置。

3、為機(jī)器設(shè)置一個子網(wǎng)網(wǎng)段，默認(rèn)是192.168.136網(wǎng)段，我們這里設(shè)置為100網(wǎng)段，將來各個虛擬機(jī)Ip就為 192.168.100.*。

4、點(diǎn)擊NAT設(shè)置按鈕，打開對話框，可以修改網(wǎng)關(guān)地址和DNS地址。這里我們?yōu)镹AT指定DNS地址。

enter image description here

5、網(wǎng)關(guān)地址為當(dāng)前網(wǎng)段里的.2地址，好像是固定的，我們不做修改，先記住網(wǎng)關(guān)地址就好了，后面會用到。

第二步、安裝Linux操作系統(tǒng)

三、Vmware上安裝Linux系統(tǒng)

1、文件菜單選擇新建虛擬機(jī)

2、選擇經(jīng)典類型安裝，下一步。

3、選擇稍后安裝操作系統(tǒng)，下一步。

4、選擇Linux系統(tǒng)，版本選擇CentOS 64位。

enter image description here

5、命名虛擬機(jī)，給虛擬機(jī)起個名字，將來顯示在Vmware左側(cè)。并選擇Linux系統(tǒng)保存在宿主機(jī)的哪個目錄下，應(yīng)該一個虛擬機(jī)保存在一個目錄下，不能多個虛擬機(jī)使用一個目錄。

enter image description here

6、指定磁盤容量，是指定分給Linux虛擬機(jī)多大的硬盤，默認(rèn)20G就可以，下一步。

7、點(diǎn)擊自定義硬件，可以查看、修改虛擬機(jī)的硬件配置，這里我們不做修改。

8、點(diǎn)擊完成后，就創(chuàng)建了一個虛擬機(jī)，但是此時的虛擬機(jī)還是一個空殼，沒有操作系統(tǒng)，接下來安裝操作系統(tǒng)。

9、點(diǎn)擊編輯虛擬機(jī)設(shè)置，找到DVD，指定操作系統(tǒng)ISO文件所在位置。

enter image description here

10、點(diǎn)擊開啟此虛擬機(jī)，選擇第一個回車開始安裝操作系統(tǒng)。

enter image description here

11、設(shè)置root密碼。

enter image description here

12、選擇Desktop，這樣就會裝一個Xwindow。

enter image description here

13、先不添加普通用戶，其他用默認(rèn)的，就把Linux安裝完畢了。

四、設(shè)置網(wǎng)絡(luò)

因?yàn)閂mware的NAT設(shè)置中關(guān)閉了DHCP自動分配IP功能，所以Linux還沒有IP，需要我們設(shè)置網(wǎng)絡(luò)各個參數(shù)。

1、用root進(jìn)入Xwindow，右擊右上角的網(wǎng)絡(luò)連接圖標(biāo)，選擇修改連接。

enter image description here

2、網(wǎng)絡(luò)連接里列出了當(dāng)前Linux里所有的網(wǎng)卡，這里只有一個網(wǎng)卡System eth0，點(diǎn)擊編輯。

enter image description here

3、配置IP、子網(wǎng)掩碼、網(wǎng)關(guān)（和NAT設(shè)置的一樣）、DNS等參數(shù)，因?yàn)镹AT里設(shè)置網(wǎng)段為100.*，所以這臺機(jī)器可以設(shè)置為192.168.100.10網(wǎng)關(guān)和NAT一致，為192.168.100.2

enter image description here

4、用ping來檢查是否可以連接外網(wǎng)，如下圖，已經(jīng)連接成功。

enter image description here

五、修改Hostname

1、臨時修改hostname

[root@localhost Desktop]# hostname bigdata-senior01.1

這種修改方式，系統(tǒng)重啟后就會失效。

2、永久修改hostname

想永久修改，應(yīng)該修改配置文件 /etc/sysconfig/network。

命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network1

打開文件后，

NETWORKING=yes  #使用網(wǎng)絡(luò)
HOSTNAME=bigdata-senior01.  #設(shè)置主機(jī)名1
2

六、配置Host

命令：[root@bigdata-senior01 ~] vim /etc/hosts
添加hosts: 192.168.100.10 bigdata-senior01.1
2

七、關(guān)閉防火墻

學(xué)習(xí)環(huán)境可以直接把防火墻關(guān)閉掉。

(1) 用root用戶登錄后，執(zhí)行查看防火墻狀態(tài)。

[root@bigdata-senior01 hadoop]# service iptables status1

(2) 用[root@bigdata-senior01 hadoop]# service iptables stop關(guān)閉防火墻，這個是臨時關(guān)閉防火墻。

[root@bigdata-senior01 hadoop-2.5.0]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]1
2
3
4

(3) 如果要永久關(guān)閉防火墻用。

[root@bigdata-senior01 hadoop]# chkconfig iptables off1

關(guān)閉，這種需要重啟才能生效。

八、關(guān)閉selinux

selinux是Linux一個子安全機(jī)制，學(xué)習(xí)環(huán)境可以將它禁用。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux1

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted1
2
3
4
5
6
7
8
9
10

enter image description here

第三步、安裝JDK

九、安裝Java JDK

1、查看是否已經(jīng)安裝了java JDK。

[root@bigdata-senior01 Desktop]# java –version1

注意：Hadoop機(jī)器上的JDK，最好是Oracle的Java JDK，不然會有一些問題，比如可能沒有JPS命令。
如果安裝了其他版本的JDK，卸載掉。

2、安裝java JDK

(1) 去下載Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz

(2) 將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules1

(3) 添加環(huán)境變量

設(shè)置JDK的環(huán)境變量 JAVA_HOME。需要修改配置文件/etc/profile，追加

export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH1
2

修改完畢后，執(zhí)行 source /etc/profile

(4)安裝后再次執(zhí)行 java –version,可以看見已經(jīng)安裝完成。

[root@bigdata-senior01 /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)1
2
3
4

第二部分：Hadoop本地模式安裝

第四步、Hadoop部署模式

Hadoop部署模式有：本地模式、偽分布模式、完全分布式模式、HA完全分布式模式。

區(qū)分的依據(jù)是NameNode、DataNode、ResourceManager、NodeManager等模塊運(yùn)行在幾個JVM進(jìn)程、幾個機(jī)器。

模式名稱	各個模塊占用的JVM進(jìn)程數(shù)	各個模塊運(yùn)行在幾個機(jī)器數(shù)上
本地模式	1個	1個
偽分布式模式	N個	1個
完全分布式模式	N個	N個
HA完全分布式	N個	N個

第五步、本地模式部署

十、本地模式介紹

本地模式是最簡單的模式，所有模塊都運(yùn)行與一個JVM進(jìn)程中，使用的本地文件系統(tǒng)，而不是HDFS，本地模式主要是用于本地開發(fā)過程中的運(yùn)行調(diào)試用。下載hadoop安裝包后不用任何設(shè)置，默認(rèn)的就是本地模式。

十一、解壓hadoop后就是直接可以使用

1、創(chuàng)建一個存放本地模式hadoop的目錄

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone1

2、解壓hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/1

3、確保JAVA_HOME環(huán)境變量已經(jīng)配置好

[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.7.0_671
2

十二、運(yùn)行MapReduce程序，驗(yàn)證

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

1、準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop1
2
3
4
5

2、運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output21

enter image description here

這里可以看到j(luò)ob ID中有l(wèi)ocal字樣，說明是運(yùn)行在本地模式下的。

3、查看輸出文件

本地模式下，mapreduce的輸出是輸出到本地。

[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS1
2
3
4

輸出目錄中有_SUCCESS文件說明JOB運(yùn)行成功，part-r-00000是輸出結(jié)果文件。
?

第三部分：Hadoop偽分布式模式安裝

第六步、偽分布式Hadoop部署過程

十三、Hadoop所用的用戶設(shè)置

1、創(chuàng)建一個名字為hadoop的普通用戶

[root@bigdata-senior01 ~]# useradd hadoop
[root@bigdata-senior01 ~]# passwd hadoop1
2

2、給hadoop用戶sudo權(quán)限

[root@bigdata-senior01 ~]# vim /etc/sudoers1

設(shè)置權(quán)限，學(xué)習(xí)環(huán)境可以將hadoop用戶的權(quán)限設(shè)置的大一些，但是生產(chǎn)環(huán)境一定要注意普通用戶的權(quán)限限制。

root    ALL=(ALL)       ALL
hadoop ALL=(root) NOPASSWD:ALL1
2

注意：如果root用戶無權(quán)修改sudoers文件，先手動為root用戶添加寫權(quán)限。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers1

3、切換到hadoop用戶

[root@bigdata-senior01 ~]# su - hadoop
[hadoop@bigdata-senior01 ~]$1
2

4、創(chuàng)建存放hadoop文件的目錄

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules1

5、將hadoop文件夾的所有者指定為hadoop用戶

如果存放hadoop的目錄的所有者不是hadoop，之后hadoop運(yùn)行中可能會有權(quán)限問題，那么就講所有者改為hadoop。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules1

十四、解壓Hadoop目錄文件

1、復(fù)制hadoop-2.5.0.tar.gz到/opt/modules目錄下。

2、解壓hadoop-2.5.0.tar.gz

[hadoop@bigdata-senior01 ~]# cd /opt/modules
[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz1
2

十五、配置Hadoop

1、配置Hadoop環(huán)境變量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile1

追加配置：

export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH1
2

執(zhí)行：source /etc/profile 使得配置生效

驗(yàn)證HADOOP_HOME參數(shù)：

[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
/opt/modules/hadoop-2.5.01
2

2、配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME參數(shù)

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh1

修改JAVA_HOME參數(shù)為：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"1
2

3、配置core-site.xml

enter image description here

[hadoop@bigdata-senior01 ~]sudovim{HADOOP_HOME}/etc/hadoop/core-site.xml

（1） fs.defaultFS參數(shù)配置的是HDFS的地址。

<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-senior01.:8020</value>
</property>1
2
3
4

（2） hadoop.tmp.dir配置的是Hadoop臨時目錄，比如HDFS的NameNode數(shù)據(jù)默認(rèn)都存放這個目錄下，查看*-default.xml等默認(rèn)配置文件，就可以看到很多依賴${hadoop.tmp.dir}的配置。

默認(rèn)的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元數(shù)據(jù)存儲在這個/tmp目錄下，如果操作系統(tǒng)重啟了，系統(tǒng)會清空/tmp目錄下的東西，導(dǎo)致NameNode元數(shù)據(jù)丟失，是個非常嚴(yán)重的問題，所有我們應(yīng)該修改這個路徑。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp1

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp1

修改hadoop.tmp.dir

 <property>
   <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>1
2
3
4

十六、配置、格式化、啟動HDFS

1、配置hdfs-site.xml

enter image description here

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml1

    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>1
2
3
4

dfs.replication配置的是HDFS存儲時的備份數(shù)量，因?yàn)檫@里是偽分布式環(huán)境只有一個節(jié)點(diǎn)，所以這里設(shè)置為1。

2、格式化HDFS

enter image description here

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format1

格式化是對HDFS這個分布式文件系統(tǒng)中的DataNode進(jìn)行分塊，統(tǒng)計所有分塊后的初始元數(shù)據(jù)的存儲在NameNode中。

格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，如果有，說明格式化成功。

注意：

格式化時，這里注意hadoop.tmp.dir目錄的權(quán)限問題，應(yīng)該hadoop普通用戶有讀寫權(quán)限才行，可以將/opt/data的所有者改為hadoop。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
查看NameNode格式化后的目錄。

   [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current1

enter image description here

fsimage是NameNode元數(shù)據(jù)在內(nèi)存滿了后，持久化保存到的文件。

fsimage*.md5 是校驗(yàn)文件，用于校驗(yàn)fsimage的完整性。

seen_txid 是hadoop的版本

vession文件里保存：

namespaceID：NameNode的唯一ID。
clusterID:集群ID，NameNode和DataNode的集群ID應(yīng)該一致，表明是一個集群。

#Mon Jul 04 17:25:50 CST 2016
namespaceID=2101579007
clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1641019026-127.0.0.1-1467624350057
layoutVersion=-571
2
3
4
5
6
7

3、啟動NameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01..out1
2

enter image description here

4、啟動DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01..out1
2

enter image description here

5、啟動SecondaryNameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01..out1
2

enter image description here

6、 JPS命令查看是否已經(jīng)啟動成功，有結(jié)果就是啟動成功了。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode1
2
3
4
5

enter image description here

7、 HDFS上測試創(chuàng)建目錄、上傳、下載文件

HDFS上創(chuàng)建目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo11

上傳本地文件到HDFS上

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo11
2

讀取HDFS上的文件內(nèi)容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml1

enter image description here

從HDFS上下載文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml1

enter image description here

十七、配置、啟動YARN

1、配置mapred-site.xml

默認(rèn)沒有mapred-site.xml文件，但是有個mapred-site.xml.template配置模板文件。復(fù)制模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1

添加配置如下：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>1
2
3
4

指定mapreduce運(yùn)行在yarn框架上。

enter image description here

2、配置yarn-site.xml

添加配置如下：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata-senior01.</value>
 </property>1
2
3
4
5
6
7
8

yarn.nodemanager.aux-services配置了yarn的默認(rèn)混洗方式，選擇為mapreduce的默認(rèn)混洗算法。
yarn.resourcemanager.hostname指定了Resourcemanager運(yùn)行在哪個節(jié)點(diǎn)上。

3、啟動Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager1

enter image description here

4、啟動nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager1

enter image description here

5、查看是否啟動成功

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
4439 NodeManager
4197 ResourceManager
4543 Jps
3193 SecondaryNameNode
3110 DataNode1
2
3
4
5
6
7

可以看到ResourceManager、NodeManager已經(jīng)啟動成功了。

enter image description here

6、 YARN的Web頁面

YARN的Web客戶端端口號是8088，通過http://192.168.100.10:8088/可以查看。

enter image description here

十八、運(yùn)行MapReduce Job

在Hadoop的share目錄里，自帶了一些jar包，里面帶有一些mapreduce實(shí)例小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以運(yùn)行這些例子體驗(yàn)剛搭建好的Hadoop平臺，我們這里來運(yùn)行最經(jīng)典的WordCount實(shí)例。

1、創(chuàng)建測試用的Input文件

創(chuàng)建輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input1

創(chuàng)建原始文件:

在本地/opt/data目錄創(chuàng)建一個文件wc.input,內(nèi)容如下。

enter image description here

將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input1

enter image description here

2、運(yùn)行WordCount MapReduce Job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
2

enter image description here

3、查看輸出結(jié)果目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-000001
2
3

enter image description here

output目錄中有兩個文件，_SUCCESS文件是空文件，有這個文件說明Job執(zhí)行成功。
part-r-00000文件是結(jié)果文件，其中-r-說明這個文件是Reduce階段產(chǎn)生的結(jié)果，mapreduce程序執(zhí)行時，可以沒有reduce階段，但是肯定會有map階段，如果沒有reduce階段這個地方有是-m-。
一個reduce會產(chǎn)生一個part-r-開頭的文件。
查看輸出文件內(nèi)容。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   11
2
3
4
5
6
7
8

結(jié)果是按照鍵值排好序的。

十九、停止Hadoop

 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager1
2
3
4
5
6
7
8

enter image description here

二十、 Hadoop各個功能模塊的理解

1、 HDFS模塊

HDFS負(fù)責(zé)大數(shù)據(jù)的存儲，通過將大文件分塊后進(jìn)行分布式存儲方式，突破了服務(wù)器硬盤大小的限制，解決了單臺機(jī)器無法存儲大文件的問題，HDFS是個相對獨(dú)立的模塊，可以為YARN提供服務(wù)，也可以為HBase等其他模塊提供服務(wù)。

2、 YARN模塊

YARN是一個通用的資源協(xié)同和任務(wù)調(diào)度框架，是為了解決Hadoop1.x中MapReduce里NameNode負(fù)載太大和其他問題而創(chuàng)建的一個框架。

YARN是個通用框架，不止可以運(yùn)行MapReduce，還可以運(yùn)行Spark、Storm等其他計算框架。

3、 MapReduce模塊

MapReduce是一個計算框架，它給出了一種數(shù)據(jù)處理的方式，即通過Map階段、Reduce階段來分布式地流式處理數(shù)據(jù)。它只適用于大數(shù)據(jù)的離線處理，對實(shí)時性要求很高的應(yīng)用不適用。

第七步、開啟歷史服務(wù)

二十一、歷史服務(wù)介紹

Hadoop開啟歷史服務(wù)可以在web頁面上查看Yarn上執(zhí)行job情況的詳細(xì)信息?？梢酝ㄟ^歷史服務(wù)器查看已經(jīng)運(yùn)行完的Mapreduce作業(yè)記錄，比如用了多少個Map、用了多少個Reduce、作業(yè)提交時間、作業(yè)啟動時間、作業(yè)完成時間等信息。

二十二、開啟歷史服務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、1

開啟后，可以通過Web頁面查看歷史服務(wù)器：

http://bigdata-senior01.:19888/

二十三、Web查看job執(zhí)行歷史

1、運(yùn)行一個mapreduce任務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output11
2

2、 job執(zhí)行中

enter image description here

3、查看job歷史

enter image description here

歷史服務(wù)器的Web端口默認(rèn)是19888，可以查看Web界面。

但是在上面所顯示的某一個Job任務(wù)頁面的最下面，Map和Reduce個數(shù)的鏈接上，點(diǎn)擊進(jìn)入Map的詳細(xì)信息頁面，再查看某一個Map或者Reduce的詳細(xì)日志是看不到的，是因?yàn)闆]有開啟日志聚集服務(wù)。

二十四、開啟日志聚集

4、日志聚集介紹

MapReduce是在各個機(jī)器上運(yùn)行的，在運(yùn)行過程中產(chǎn)生的日志存在于各個機(jī)器上，為了能夠統(tǒng)一查看各個機(jī)器的運(yùn)行日志，將日志集中存放在HDFS上，這個過程就是日志聚集。

5、開啟日志聚集

配置日志聚集功能：

Hadoop默認(rèn)是不啟用日志聚集的。在yarn-site.xml文件里配置啟用日志聚集。

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
 </property>1
2
3
4
5
6
7
8

yarn.log-aggregation-enable:是否啟用日志聚集功能。

yarn.log-aggregation.retain-seconds：設(shè)置日志保留時間，單位是秒。

將配置文件分發(fā)到其他節(jié)點(diǎn)：

[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.:/opt/modules/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.:/opt/modules/hadoop-2.5.0/etc/hadoop/1
2

重啟Yarn進(jìn)程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh1
2

重啟HistoryServer進(jìn)程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver1
2

6、測試日志聚集

運(yùn)行一個demo MapReduce，使之產(chǎn)生日志：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output11

查看日志：

運(yùn)行Job后，就可以在歷史服務(wù)器Web頁面查看各個Map和Reduce的日志了。
?

第四部分：完全分布式安裝

第八步、完全布式環(huán)境部署Hadoop

完全分部式是真正利用多臺Linux主機(jī)來進(jìn)行部署Hadoop，對Linux機(jī)器集群進(jìn)行規(guī)劃，使得Hadoop各個模塊分別部署在不同的多臺機(jī)器上。

二十五、環(huán)境準(zhǔn)備

1、克隆虛擬機(jī)

Vmware左側(cè)選中要克隆的機(jī)器，這里對原有的BigData01機(jī)器進(jìn)行克隆，虛擬機(jī)菜單中，選中管理菜單下的克隆命令。
選擇“創(chuàng)建完整克隆”，虛擬機(jī)名稱為BigData02，選擇虛擬機(jī)文件保存路徑，進(jìn)行克隆。
再次克隆一個名為BigData03的虛擬機(jī)。

2、配置網(wǎng)絡(luò)

修改網(wǎng)卡名稱：

在BigData02和BigData03機(jī)器上編輯網(wǎng)卡信息。執(zhí)行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因?yàn)槭菑腂igData01機(jī)器克隆來的，所以會保留BigData01的網(wǎng)卡eth0，并且再添加一個網(wǎng)卡eth1。并且eth0的Mac地址和BigData01的地址是一樣的，Mac地址不允許相同，所以要刪除eth0，只保留eth1網(wǎng)卡，并且要將eth1改名為eth0。將修改后的eth0的mac地址復(fù)制下來，修改network-scripts文件中的HWADDR屬性。

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth01

enter image description here

修改網(wǎng)絡(luò)參數(shù)：

BigData02機(jī)器IP改為192.168.100.12

BigData03機(jī)器IP改為192.168.100.13

3、配置Hostname

BigData02配置hostname為 bigdata-senior02.

BigData03配置hostname為 bigdata-senior03.

4、配置hosts

BigData01、BigData02、BigData03三臺機(jī)器hosts都配置為：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts
192.168.100.10 bigdata-senior01.
192.168.100.12 bigdata-senior02.
192.168.100.13 bigdata-senior03.1
2
3
4

5、配置Windows上的SSH客戶端

在本地Windows中的SSH客戶端上添加對BigData02、BigData03機(jī)器的SSH鏈接。

二十六、服務(wù)器功能規(guī)劃

bigdata-senior01.	bigdata-senior02.	bigdata-senior03.
NameNode	ResourceManage
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager
HistoryServer		SecondaryNameNode

二十七、在第一臺機(jī)器上安裝新的Hadoop

為了和之前BigData01機(jī)器上安裝偽分布式Hadoop區(qū)分開來，我們將BigData01上的Hadoop服務(wù)都停止掉，然后在一個新的目錄/opt/modules/app下安裝另外一個Hadoop。
我們采用先在第一臺機(jī)器上解壓、配置Hadoop，然后再分發(fā)到其他兩臺機(jī)器上的方式來安裝集群。

6、解壓Hadoop目錄：

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/1

7、配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"1

8、配置core-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml1

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata-senior01.:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
 </property>
</configuration>1
2
3
4
5
6
7
8
9
10

fs.defaultFS為NameNode的地址。

hadoop.tmp.dir為hadoop臨時目錄的地址，默認(rèn)情況下，NameNode和DataNode的數(shù)據(jù)文件都會存在這個目錄下的對應(yīng)子目錄下。應(yīng)該保證此目錄是存在的，如果不存在，先創(chuàng)建。

9、配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml1

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>bigdata-senior03.:50090</value>
 </property>
</configuration>1
2
3
4
5
6

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，因?yàn)樵谝?guī)劃中，我們將BigData03規(guī)劃為SecondaryNameNode服務(wù)器。

所以這里設(shè)置為：bigdata-senior03.:50090

10、配置slaves

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.
bigdata-senior02.
bigdata-senior03.1
2
3
4

slaves文件是指定HDFS上有哪些DataNode節(jié)點(diǎn)。

11、配置yarn-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml1

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02.</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

根據(jù)規(guī)劃yarn.resourcemanager.hostname這個指定resourcemanager服務(wù)器指向bigdata-senior02.。

yarn.log-aggregation-enable是配置是否啟用日志聚集功能。

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長時間。

12、配置mapred-site.xml

從mapred-site.xml.template復(fù)制一個mapred-site.xml文件。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-senior01.:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior01.:19888</value>
    </property>
</configuration>1
2
3
4
5
6
7
8
9
10
11
12
13
14

mapreduce.framework.name設(shè)置mapreduce任務(wù)運(yùn)行在yarn上。

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在BigData01機(jī)器上。

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁面地址和端口號。

二十八、設(shè)置SSH無密碼登錄

Hadoop集群中的各個機(jī)器間會相互地通過SSH訪問，每次訪問都輸入密碼是不現(xiàn)實(shí)的，所以要配置各個機(jī)器間的

SSH是無密碼登錄的。

1、在BigData01上生成公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa1

一路回車，都設(shè)置為默認(rèn)值，然后再當(dāng)前用戶的Home目錄下的.ssh目錄中會生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）。

2、分發(fā)公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.1
2
3

3、設(shè)置BigData02、BigData03到其他機(jī)器的無密鑰登錄

同樣的在BigData02、BigData03上生成公鑰和私鑰后，將公鑰分發(fā)到三臺機(jī)器上。

二十九、分發(fā)Hadoop文件

1、首先在其他兩臺機(jī)器上創(chuàng)建存放Hadoop的目錄

[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app1
2

2、通過Scp分發(fā)

Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔，文件相當(dāng)大，建議在分發(fā)之前將這個目錄刪除掉，可以節(jié)省硬盤空間并能提高分發(fā)的速度。

doc目錄大小有1.6G。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
1.6G    /opt/modules/app/hadoop-2.5.0/share/doc
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.:/opt/modules/app
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.:/opt/modules/app1
2
3
4

三十、格式NameNode

在NameNode機(jī)器上執(zhí)行格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format1

注意：

如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的文件全部刪除，不然會報錯，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。

<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/data/tmp</value>
  </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>1
2
3
4
5
6
7
8
9
10
11
12

因?yàn)槊看胃袷交?，默認(rèn)是創(chuàng)建一個集群ID，并寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current），重新格式化時，默認(rèn)會生成一個新的集群ID,如果不刪除原來的目錄，會導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID，不一致時會報錯。

另一種方法是格式化時指定集群ID參數(shù)，指定為舊的集群ID。

三十一、啟動集群

1、啟動HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh1

enter image description here

2、啟動YARN

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh1

在BigData02上啟動ResourceManager:

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager1

enter image description here

3、啟動日志服務(wù)器

因?yàn)槲覀円?guī)劃的是在BigData03服務(wù)器上運(yùn)行MapReduce日志服務(wù)，所以要在BigData03上啟動。

[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03..out1
2

[hadoop@bigdata-senior03 ~]$ jps
3570 Jps
3537 JobHistoryServer
3310 SecondaryNameNode
3213 DataNode
3392 NodeManager1
2
3
4
5
6

4、查看HDFS Web頁面

http://bigdata-senior01.:50070/

5、查看YARN Web 頁面

http://bigdata-senior02.:8088/cluster

三十二、測試Job

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

1、準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop1
2
3
4
5

2、在HDFS創(chuàng)建輸入目錄input

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input1

3、將wc.input上傳到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input1

4、運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output1

enter image description here

5、查看輸出文件

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-000001
2
3
4

第五部分：Hadoop HA安裝

HA的意思是High Availability高可用，指當(dāng)當(dāng)前工作中的機(jī)器宕機(jī)后，會自動處理這個異常，并將工作無縫地轉(zhuǎn)移到其他備用機(jī)器上去，以來保證服務(wù)的高可用。

HA方式安裝部署才是最常見的生產(chǎn)環(huán)境上的安裝部署方式。Hadoop HA是Hadoop 2.x中新添加的特性，包括NameNode HA 和 ResourceManager HA。因?yàn)镈ataNode和NodeManager本身就是被設(shè)計為高可用的，所以不用對他們進(jìn)行特殊的高可用處理。

第九步、時間服務(wù)器搭建

Hadoop對集群中各個機(jī)器的時間同步要求比較高，要求各個機(jī)器的系統(tǒng)時間不能相差太多，不然會造成很多問題。可以配置集群中各個機(jī)器和互聯(lián)網(wǎng)的時間服務(wù)器進(jìn)行時間同步，但是在實(shí)際生產(chǎn)環(huán)境中，集群中大部分服務(wù)器是不能連接外網(wǎng)的，這時候可以在內(nèi)網(wǎng)搭建一個自己的時間服務(wù)器（NTP服務(wù)器），集群的各個機(jī)器與這個時間服務(wù)器進(jìn)行時間同步。

三十三、配置NTP服務(wù)器

我們選擇第三臺機(jī)器（bigdata-senior03.）為NTF服務(wù)器，其他機(jī)器和這臺機(jī)器進(jìn)行同步。

1、檢查ntp服務(wù)是否已經(jīng)安裝

[hadoop@bigdata-senior03 data]$ sudo rpm -qa | grep ntp
ntpdate-4.2.6p5-1.el6.centos.x86_64
ntp-4.2.6p5-1.el6.centos.x86_641
2
3

顯示已經(jīng)安裝過了ntp程序，其中ntpdate-4.2.6p5-1.el6.centos.x86_64 是用來和某臺服務(wù)器進(jìn)行同步的，ntp-4.2.6p5-1.el6.centos.x86_64是用來提供時間同步服務(wù)的。

2、修改配置文件ntp.conf

[hadoop@bigdata-senior03 data]$ vim /etc/ntp.conf1

啟用restrice,修改網(wǎng)段

restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap
將這行的注釋去掉，并且將網(wǎng)段改為集群的網(wǎng)段，我們這里是100網(wǎng)段。

注釋掉server域名配置

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst1
2
3
4

是時間服務(wù)器的域名，這里不需要連接互聯(lián)網(wǎng)，所以將他們注釋掉。

修改

server 127.127.1.0

fudge 127.127.1.0 stratum 10

3、修改配置文件ntpd

[hadoop@bigdata-senior03 ~]$ sudo vim /etc/sysconfig/ntpd1

添加一行配置：SYNC_CLOCK=yes

enter image description here

4、啟動ntp服務(wù)

[hadoop@bigdata-senior03 ~]$ sudo chkconfig ntpd on1

這樣每次機(jī)器啟動時，ntp服務(wù)都會自動啟動。

三十四、配置其他機(jī)器的同步

切換到root用戶進(jìn)行配置通過contab進(jìn)行定時同步：

[root@bigdata-senior02 hadoop]# crontab -e 
*/10 * * * * /usr/sbin/ntpdate bigdata-senior03.
[root@bigdata-senior02 hadoop]# crontab -e 
*/10 * * * * /usr/sbin/ntpdate bigdata-senior03.1
2
3
4

三十五、測試同步是否有效

1、查看目前三臺機(jī)器的時間

[hadoop@bigdata-senior03 ~]$ date "+%Y-%m-%d %H:%M:%S"
2016-09-23 16:43:56
[hadoop@bigdata-senior02 ~]$ date "+%Y-%m-%d %H:%M:%S"
2016-09-23 16:44:08
[hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
2016-09-23 16:44:181
2
3
4
5
6

2、修改bigdata-senior01上的時間

將時間改為一個以前的時間：

[hadoop@bigdata-senior01 data]$ sudo date -s '2016-01-01 00:00:00'
Fri Jan  1 00:00:00 CST 2016
[hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
2016-01-01 00:00:051
2
3
4

等10分鐘，看是否可以實(shí)現(xiàn)自動同步，將bigdata-senior01上的時間修改為和bigdata-senior03上的一致。

3、查看是否自動同步時間

[hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
2016-09-23 16:54:361
2

可以看到bigdata-senior01上的時間已經(jīng)實(shí)現(xiàn)自動同步了。

第十步、Zookeeper分布式機(jī)器部署

三十六、zookeeper說明

Zookeeper在Hadoop集群中的作用。

Zookeeper是分布式管理協(xié)作框架，Zookeeper集群用來保證Hadoop集群的高可用，（高可用的含義是：集群中就算有一部分服務(wù)器宕機(jī)，也能保證正常地對外提供服務(wù)。）

Zookeeper保證高可用的原理。

Zookeeper集群能夠保證NamaNode服務(wù)高可用的原理是：Hadoop集群中有兩個NameNode服務(wù)，兩個NaameNode都定時地給Zookeeper發(fā)送心跳，告訴Zookeeper我還活著，可以提供服務(wù)，單某一個時間只有一個是Action狀態(tài)，另外一個是Standby狀態(tài)，一旦Zookeeper檢測不到Action NameNode發(fā)送來的心跳后，就切換到Standby狀態(tài)的NameNode上，將它設(shè)置為Action狀態(tài)，所以集群中總有一個可用的NameNode，達(dá)到了NameNode的高可用目的。

Zookeeper的選舉機(jī)制。

Zookeeper集群也能保證自身的高可用，保證自身高可用的原理是，Zookeeper集群中的各個機(jī)器分為Leader和Follower兩個角色，寫入數(shù)據(jù)時，要先寫入Leader，Leader同意寫入后，再通知Follower寫入。客戶端讀取數(shù)時，因?yàn)閿?shù)據(jù)都是一樣的，可以從任意一臺機(jī)器上讀取數(shù)據(jù)。

這里L(fēng)eader角色就存在單點(diǎn)故障的隱患，高可用就是解決單點(diǎn)故障隱患的。Zookeeper從機(jī)制上解決了Leader的單點(diǎn)故障問題，Leader是哪一臺機(jī)器是不固定的，Leader是選舉出來的。選舉流程是，集群中任何一臺機(jī)器發(fā)現(xiàn)集群中沒有Leader時，就推薦自己為Leader，其他機(jī)器來同意，當(dāng)超過一半數(shù)的機(jī)器同意它為Leader時，選舉結(jié)束，所以Zookeeper集群中的機(jī)器數(shù)據(jù)必須是奇數(shù)。這樣就算當(dāng)Leader機(jī)器宕機(jī)后，會很快選舉出新的Leader，保證了Zookeeper集群本身的高可用。

寫入高可用。

集群中的寫入操作都是先通知Leader，Leader再通知Follower寫入，實(shí)際上當(dāng)超過一半的機(jī)器寫入成功后，就認(rèn)為寫入成功了，所以就算有些機(jī)器宕機(jī)，寫入也是成功的。

讀取高可用。

zookeeperk客戶端讀取數(shù)據(jù)時，可以讀取集群中的任何一個機(jī)器。所以部分機(jī)器的宕機(jī)并不影響讀取。

zookeeper服務(wù)器必須是奇數(shù)臺，因?yàn)閦ookeeper有選舉制度，角色有：領(lǐng)導(dǎo)者、跟隨者、觀察者，選舉的目的是保證集群中數(shù)據(jù)的一致性。

三十七、安裝zookeeper

我們這里在BigData01、BigData02、BigData03三臺機(jī)器上安裝zookeeper集群。

1、解壓安裝包

在BigData01上安裝解壓zookeeper安裝包。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/1

2、修改配置

拷貝conf下的zoo_sample.cfg副本，改名為zoo.cfg。zoo.cfg是zookeeper的配置文件：

[hadoop@bigdata-senior01 zookeeper-3.4.8]$ cp conf/zoo_sample.cfg conf/zoo.cfg1

dataDir屬性設(shè)置zookeeper的數(shù)據(jù)文件存放的目錄：

dataDir=/opt/modules/zookeeper-3.4.8/data/zData

指定zookeeper集群中各個機(jī)器的信息：

server.1=bigdata-senior01.:2888:3888
server.2=bigdata-senior02.:2888:3888
server.3=bigdata-senior03.:2888:38881
2
3

server后面的數(shù)字范圍是1到255，所以一個zookeeper集群最多可以有255個機(jī)器。

enter image description here

3、創(chuàng)建myid文件

在dataDir所指定的目錄下創(chuàng)一個名為myid的文件，文件內(nèi)容為server點(diǎn)后面的數(shù)字。

enter image description here

4、分發(fā)到其他機(jī)器

[hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.:/opt/modules
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.:/opt/modules1
2

5、修改其他機(jī)器上的myid文件

[hadoop@bigdata-senior02 zookeeper-3.4.8]$ echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid 
21
2
3

[hadoop@bigdata-senior03 ~]$ echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid
[hadoop@bigdata-senior03 ~]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid
31
2
3

6、啟動zookeeper

需要在各個機(jī)器上分別啟動zookeeper。

[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start1
2
3

enter image description here

三十八、zookeeper命令

進(jìn)入zookeeper Shell

在zookeeper根目錄下執(zhí)行 bin/zkCli.sh進(jìn)入zk shell模式。

zookeeper很像一個小型的文件系統(tǒng)，/是根目錄，下面的所有節(jié)點(diǎn)都叫zNode。

進(jìn)入zk shell 后輸入任意字符，可以列出所有的zookeeper命令

enter image description here

查詢zNode上的數(shù)據(jù)：get /zookeeper

創(chuàng)建一個zNode : create /znode1 “demodata “

列出所有子zNode：ls /

enter image description here

刪除znode : rmr /znode1

退出shell模式：quit

第十一步、Hadoop 2.x HDFS HA 部署

三十九、HDFS HA原理

單NameNode的缺陷存在單點(diǎn)故障的問題，如果NameNode不可用，則會導(dǎo)致整個HDFS文件系統(tǒng)不可用。所以需要設(shè)計高可用的HDFS（Hadoop HA）來解決NameNode單點(diǎn)故障的問題。解決的方法是在HDFS集群中設(shè)置多個NameNode節(jié)點(diǎn)。但是一旦引入多個NameNode，就有一些問題需要解決。

HDFS HA需要保證的四個問題：
- 保證NameNode內(nèi)存中元數(shù)據(jù)數(shù)據(jù)一致，并保證編輯日志文件的安全性。
- 多個NameNode如何協(xié)作
- 客戶端如何能正確地訪問到可用的那個NameNode。
- 怎么保證任意時刻只能有一個NameNode處于對外服務(wù)狀態(tài)。
解決方法
- 對于保證NameNode元數(shù)據(jù)的一致性和編輯日志的安全性，采用Zookeeper來存儲編輯日志文件。
- 兩個NameNode一個是Active狀態(tài)的，一個是Standby狀態(tài)的，一個時間點(diǎn)只能有一個Active狀態(tài)的
  NameNode提供服務(wù),兩個NameNode上存儲的元數(shù)據(jù)是實(shí)時同步的，當(dāng)Active的NameNode出現(xiàn)問題時，通過Zookeeper實(shí)時切換到Standby的NameNode上，并將Standby改為Active狀態(tài)。
- 客戶端通過連接一個Zookeeper的代理來確定當(dāng)時哪個NameNode處于服務(wù)狀態(tài)。

四十、HDFS HA架構(gòu)圖

enter image description here

HDFS HA架構(gòu)中有兩臺NameNode節(jié)點(diǎn)，一臺是處于活動狀態(tài)（Active）為客戶端提供服務(wù)，另外一臺處于熱備份狀態(tài)（Standby）。
元數(shù)據(jù)文件有兩個文件：fsimage和edits，備份元數(shù)據(jù)就是備份這兩個文件。JournalNode用來實(shí)時從Active NameNode上拷貝edits文件，JournalNode有三臺也是為了實(shí)現(xiàn)高可用。
Standby NameNode不對外提供元數(shù)據(jù)的訪問，它從Active NameNode上拷貝fsimage文件，從JournalNode上拷貝edits文件，然后負(fù)責(zé)合并fsimage和edits文件，相當(dāng)于SecondaryNameNode的作用。最終目的是保證Standby NameNode上的元數(shù)據(jù)信息和Active NameNode上的元數(shù)據(jù)信息一致，以實(shí)現(xiàn)熱備份。
Zookeeper來保證在Active NameNode失效時及時將Standby NameNode修改為Active狀態(tài)。
ZKFC（失效檢測控制）是Hadoop里的一個Zookeeper客戶端，在每一個NameNode節(jié)點(diǎn)上都啟動一個ZKFC進(jìn)程，來監(jiān)控NameNode的狀態(tài)，并把NameNode的狀態(tài)信息匯報給Zookeeper集群，其實(shí)就是在Zookeeper上創(chuàng)建了一個Znode節(jié)點(diǎn)，節(jié)點(diǎn)里保存了NameNode狀態(tài)信息。當(dāng)NameNode失效后，ZKFC檢測到報告給Zookeeper，Zookeeper把對應(yīng)的Znode刪除掉，Standby ZKFC發(fā)現(xiàn)沒有Active狀態(tài)的NameNode時，就會用shell命令將自己監(jiān)控的NameNode改為Active狀態(tài)，并修改Znode上的數(shù)據(jù)。
Znode是個臨時的節(jié)點(diǎn)，臨時節(jié)點(diǎn)特征是客戶端的連接斷了后就會把znode刪除，所以當(dāng)ZKFC失效時，也會導(dǎo)致切換NameNode。
DataNode會將心跳信息和Block匯報信息同時發(fā)給兩臺NameNode，DataNode只接受Active NameNode發(fā)來的文件讀寫操作指令。

四十一、搭建HDFS HA 環(huán)境

1、服務(wù)器角色規(guī)劃

bigdata-senior01.	bigdata-senior01.	bigdata-senior01.
NameNode	NameNode
Zookeeper	Zookeeper	Zookeeper
DataNode	DataNode	DataNode
	ResourceManage	ResourceManage
NodeManager	NodeManager	NodeManager

2、創(chuàng)建HDFS HA 版本Hadoop程序目錄

在bigdata01、bigdata02、bigdata03三臺機(jī)器上分別創(chuàng)建目錄/opt/modules/hadoopha/用來存放Hadoop HA環(huán)境。

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopha1

3、新解壓Hadoop 2.5.0

[hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/1

4、配置Hadoop JDK路徑

修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑
export JAVA_HOME="/opt/modules/jdk1.7.0_67"1
2

5、配置hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <!-- 為namenode集群定義一個services name -->
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>
  <property>
    <!-- nameservice 包含哪些namenode，為各個namenode起名 -->
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <!--  名為nn1的namenode 的rpc地址和端口號，rpc用來和datanode通訊 -->
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>bigdata-senior01.:8020</value>
  </property>
  <property>
    <!-- 名為nn2的namenode 的rpc地址和端口號，rpc用來和datanode通訊  -->
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>bigdata-senior02.:8020</value>
  </property>
  <property>
    <!--名為nn1的namenode 的http地址和端口號，web客戶端 -->
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>bigdata-senior01.:50070</value>
  </property>
  <property>
    <!--名為nn2的namenode 的http地址和端口號，web客戶端 -->
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>bigdata-senior02.:50070</value>
  </property>
  <property>
    <!--  namenode間用于共享編輯日志的journal節(jié)點(diǎn)列表 -->
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://bigdata-senior01.:8485;bigdata-senior02.:8485;bigdata-senior03.:8485/ns1</value>
  </property>
  <property>
    <!--  journalnode 上用于存放edits日志的目錄 -->
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/modules/hadoopha/hadoop-2.5.0/tmp/data/dfs/jn</value>
  </property>
  <property>
    <!--  客戶端連接可用狀態(tài)的NameNode所用的代理類 -->
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <!--   -->
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

6、配置core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <!--  hdfs 地址，ha中是連接到nameservice -->
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  </property>
  <property>
    <!--  -->
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value>
  </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

hadoop.tmp.dir設(shè)置hadoop臨時目錄地址，默認(rèn)時，NameNode和DataNode的數(shù)據(jù)存在這個路徑下。

7、配置slaves文件

bigdata-senior01.
bigdata-senior02.
bigdata-senior03.1
2
3

8、分發(fā)到其他節(jié)點(diǎn)

分發(fā)之前先將share/doc目錄刪除，這個目錄中是幫助文件，并且很大，可以刪除。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior02.:/opt/modules
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior03.:/opt/modules1
2

9、啟動HDFS HA集群

三臺機(jī)器分別啟動Journalnode。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode1
2
3

jps命令查看是否啟動。

10、啟動Zookeeper

在三臺節(jié)點(diǎn)上啟動Zookeeper：

[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start1
2
3

11、格式化NameNode

在第一臺上進(jìn)行NameNode格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format1

在第二臺NameNode上：

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby1

12、啟動NameNode

在第一臺、第二臺上啟動NameNode：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode1
2

查看HDFS Web頁面，此時兩個NameNode都是standby狀態(tài)。

切換第一臺為active狀態(tài)：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn11

可以添加上forcemanual參數(shù)，強(qiáng)制將一個NameNode轉(zhuǎn)換為Active狀態(tài)。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin –transitionToActive -forcemanual nn11

此時從web 頁面就看到第一臺已經(jīng)是active狀態(tài)了。

enter image description here

13、配置故障自動轉(zhuǎn)移

利用zookeeper集群實(shí)現(xiàn)故障自動轉(zhuǎn)移，在配置故障自動轉(zhuǎn)移之前，要先關(guān)閉集群，不能在HDFS運(yùn)行期間進(jìn)行配置。

關(guān)閉NameNode、DataNode、JournalNode、zookeeper

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh stop
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
[hadoop@bigdata- senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
[hadoop@bigdata- senior02 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
[hadoop@bigdata- senior02 zookeeper-3.4.8]$ bin/zkServer.sh stop
[hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
[hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
[hadoop@bigdata- senior03 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
[hadoop@bigdata- senior03 zookeeper-3.4.8]$ bin/zkServer.sh stop1
2
3
4
5
6
7
8
9
10
11
12
13
14

修改hdfs-site.xml

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>1
2
3
4

修改core-site.xml

<property>
   <name>ha.zookeeper.quorum</name>
   <value>bigdata-senior01.:2181,bigdata-senior02.:2181,bigdata-senior03.:2181</value>
</property>1
2
3
4

將hdfs-site.xml和core-site.xml分發(fā)到其他機(jī)器

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior02.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior03.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior02.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior03.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/1
2
3
4

啟動zookeeper

三臺機(jī)器啟動zookeeper

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/zookeeper-3.4.8/bin/zkServer.sh start1

創(chuàng)建一個zNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cd /opt/modules/hadoopha/hadoop-2.5.0/
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK1
2

enter image description here

在Zookeeper上創(chuàng)建一個存儲namenode相關(guān)的節(jié)點(diǎn)。

14、啟動HDFS、JournalNode、zkfc

啟動NameNode、DataNode、JournalNode、zkfc

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-dfs.sh1

zkfc只針對NameNode監(jiān)聽。

四十二、測試HDFS HA

1、測試故障自動轉(zhuǎn)移和數(shù)據(jù)是否共享

在nn1上上傳文件

目前bigdata-senior01節(jié)點(diǎn)上的NameNode是Active狀態(tài)的。

enter image description here

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /1

enter image description here

將nn1上的NodeNode進(jìn)程殺掉

[hadoop@bigdata-senior01 hadoop-2.5.0]$ kill -9 33641

nn1上的namenode已經(jīng)無法訪問了。

查看nn2是否是Active狀態(tài)

enter image description here

在nn2上查看是否看見文件

enter image description here

經(jīng)以上驗(yàn)證，已經(jīng)實(shí)現(xiàn)了nn1和nn2之間的文件同步和故障自動轉(zhuǎn)移。

第十二步、Hadoop 2.x YARN HA 部署

四十三、YARN HA原理

Hadoop2.4版本之前，ResourceManager也存在單點(diǎn)故障的問題，也需要實(shí)現(xiàn)HA來保證ResourceManger的高可也用性。

ResouceManager從記錄著當(dāng)前集群的資源分配情況和JOB的運(yùn)行狀態(tài)，YRAN HA 利用Zookeeper等共享存儲介質(zhì)來存儲這些信息來達(dá)到高可用。另外利用Zookeeper來實(shí)現(xiàn)ResourceManager自動故障轉(zhuǎn)移。

enter image description here

MasterHADaemon：控制RM的 Master的啟動和停止，和RM運(yùn)行在一個進(jìn)程中，可以接收外部RPC命令。
共享存儲：Active Master將信息寫入共享存儲，Standby Master讀取共享存儲信息以保持和Active Master同步。
ZKFailoverController：基于Zookeeper實(shí)現(xiàn)的切換控制器，由ActiveStandbyElector和HealthMonitor組成，ActiveStandbyElector負(fù)責(zé)與Zookeeper交互，判斷所管理的Master是進(jìn)入Active還是Standby；HealthMonitor負(fù)責(zé)監(jiān)控Master的活動健康情況，是個監(jiān)視器。
Zookeeper：核心功能是維護(hù)一把全局鎖控制整個集群上只有一個Active的ResourceManager。

四十四、搭建YARN HA環(huán)境

1、服務(wù)器角色規(guī)劃

bigdata-senior01.	bigdata-senior01.	bigdata-senior01.
NameNode	NameNode
Zookeeper	Zookeeper	Zookeeper
DataNode	DataNode	DataNode
	ResourceManage	ResourceManage
NodeManager	NodeManager	NodeManager

2、修改配置文件yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>
  <property>
    <!--  啟用resourcemanager的ha功能 -->
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <!--  為resourcemanage ha 集群起個id -->
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarn-cluster</value>
  </property>
  <property>
    <!--  指定resourcemanger ha 有哪些節(jié)點(diǎn)名 -->
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm12,rm13</value>
  </property>
  <property>
    <!--  指定第一個節(jié)點(diǎn)的所在機(jī)器 -->
    <name>yarn.resourcemanager.hostname.rm12</name>
    <value>bigdata-senior02.</value>
  </property>
  <property>
    <!--  指定第二個節(jié)點(diǎn)所在機(jī)器 -->
    <name>yarn.resourcemanager.hostname.rm13</name>
    <value>bigdata-senior03.</value>
  </property>
  <property>
    <!--  指定resourcemanger ha 所用的zookeeper 節(jié)點(diǎn) -->
    <name>yarn.resourcemanager.zk-address</name>
    <value>bigdata-senior01.:2181,bigdata-senior02.:2181,bigdata-senior03.:2181</value>
  </property>
  <property>
    <!--  -->
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <property>
    <!--  -->
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

3、分發(fā)到其他機(jī)器

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/\1
2

4、啟動

在bigdata-senior01上啟動yarn：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh1

在bigdata-senior02、bigdata-senior03上啟動resourcemanager：

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager1
2

啟動后各個節(jié)點(diǎn)的進(jìn)程。

enter image description here

Web客戶端訪問bigdata02機(jī)器上的resourcemanager正常，它是active狀態(tài)的。

http://bigdata-senior02.:8088/cluster

訪問另外一個resourcemanager，因?yàn)樗莝tandby,會自動跳轉(zhuǎn)到active的resourcemanager。

http://bigdata-senior03.:8088/cluster

四十五、測試YARN HA

5、運(yùn)行一個mapreduce job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wc.input /input1

6、在job運(yùn)行過程中，將Active狀態(tài)的resourcemanager進(jìn)程殺掉。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ kill -9 44751

7、觀察另外一個resourcemanager是否可以自動接替。

bigdata02的resourcemanage Web客戶端已經(jīng)不能訪問，bigdata03的resourcemanage已經(jīng)自動變?yōu)閍ctive狀態(tài)。

8、觀察job是否可以順利完成。

而mapreduce job 也能順利完成，沒有因?yàn)閞esourcemanager的意外故障而影響運(yùn)行。

經(jīng)過以上測試，已經(jīng)驗(yàn)證YARN HA 已經(jīng)搭建成功。

第十三步、HDFS Federation 架構(gòu)部署

四十六、HDFS Federation 的使用原因

1、單個NameNode節(jié)點(diǎn)的局限性

命名空間的限制。

NameNode上存儲著整個HDFS上的文件的元數(shù)據(jù)，NameNode是部署在一臺機(jī)器上的，因?yàn)閱蝹€機(jī)器硬件的限制，必然會限制NameNode所能管理的文件個數(shù)，制約了數(shù)據(jù)量的增長。

數(shù)據(jù)隔離問題。

整個HDFS上的文件都由一個NameNode管理，所以一個程序很有可能會影響到整個HDFS上的程序，并且權(quán)限控制比較復(fù)雜。

性能瓶頸。

單個NameNode時HDFS文件系統(tǒng)的吞吐量受限于單個NameNode的吞吐量。因?yàn)镹ameNode是個JVM進(jìn)程，JVM進(jìn)程所占用的內(nèi)存很大時，性能會下降很多。

2、 HDFS Federation介紹

HDFS Federation是可以在Hadoop集群中設(shè)置多個NameNode，不同于HA中多個NameNode是完全一樣的，是多個備份，F(xiàn)ederation中的多個NameNode是不同的，可以理解為將一個NameNode切分為了多個NameNode，每一個NameNode只負(fù)責(zé)管理一部分?jǐn)?shù)據(jù)。
HDFS Federation中的多個NameNode共用DataNode。

四十七、HDFS Federation的架構(gòu)圖

enter image description here

四十八、HDFS Federation搭建

1、服務(wù)器角色規(guī)劃

bigdata-senior01.	bigdata-senior01.	bigdata-senior01.
NameNode1	NameNode2	NameNode3
	ResourceManage
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager

2、創(chuàng)建HDFS Federation 版本Hadoop程序目錄

在bigdata01上創(chuàng)建目錄/opt/modules/hadoopfederation /用來存放Hadoop Federation環(huán)境。

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopfederation1

3、新解壓Hadoop 2.5.0

[hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopfederation/1

4、配置Hadoop JDK路徑

修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑。

export JAVA_HOME=”/opt/modules/jdk1.7.0_67”

5、配置hdfs-site.xml

<configuration>
<property>
<!—配置三臺NameNode -->
    <name>dfs.nameservices</name>
    <value>ns1,ns2,ns3</value>
  </property>
  <property>
<!—第一臺NameNode的機(jī)器名和rpc端口，指定了NameNode和DataNode通訊用的端口號 -->
    <name>dfs.namenode.rpc-address.ns1</name>
    <value>bigdata-senior01.:8020</value>
  </property>
   <property>
<!—第一臺NameNode的機(jī)器名和rpc端口，備用端口號 -->
    <name>dfs.namenode.serviceerpc-address.ns1</name>
    <value>bigdata-senior01.:8022</value>
  </property>
  <property>
<!—第一臺NameNode的http頁面地址和端口號 -->
    <name>dfs.namenode.http-address.ns1</name>
    <value>bigdata-senior01.:50070</value>
  </property>
<property>
<!—第一臺NameNode的https頁面地址和端口號 -->
    <name>dfs.namenode.https-address.ns1</name>
    <value>bigdata-senior01.:50470</value>
  </property>

  <property>
    <name>dfs.namenode.rpc-address.ns2</name>
    <value>bigdata-senior02.:8020</value>
  </property>
   <property>
    <name>dfs.namenode.serviceerpc-address.ns2</name>
    <value>bigdata-senior02.:8022</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2</name>
    <value>bigdata-senior02.:50070</value>
  </property>
    <property>
    <name>dfs.namenode.https-address.ns2</name>
    <value>bigdata-senior02.:50470</value>
  </property>


  <property>
    <name>dfs.namenode.rpc-address.ns3</name>
    <value>bigdata-senior03.:8020</value>
  </property>
   <property>
    <name>dfs.namenode.serviceerpc-address.ns3</name>
    <value>bigdata-senior03.:8022</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns3</name>
    <value>bigdata-senior03.:50070</value>
  </property>
    <property>
    <name>dfs.namenode.https-address.ns3</name>
    <value>bigdata-senior03.:50470</value>
  </property>

</configuration>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

6、配置core-site.xml

<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value>
</property>
</configuration>1
2
3
4
5
6

hadoop.tmp.dir設(shè)置hadoop臨時目錄地址，默認(rèn)時，NameNode和DataNode的數(shù)據(jù)存在這個路徑下。

7、配置slaves文件

bigdata-senior01.
bigdata-senior02.
bigdata-senior03.1
2
3

8、配置yarn-site.xml

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>     
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata-senior02.</value>
 </property>     
 <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>     
 <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
 </property>     
</configuration>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

9、分發(fā)到其他節(jié)點(diǎn)

分發(fā)之前先將share/doc目錄刪除，這個目錄中是幫助文件，并且很大，可以刪除。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/ /opt/modules/hadoopfederation bigdata-senior02.:/opt/modules
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopfederation bigdata-senior03.:/opt/modules1
2

10、格式化NameNode

在第一臺上進(jìn)行NameNode格式化。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId1

這里一定要指定一個集群ID，使得多個NameNode的集群ID是一樣的，因?yàn)檫@三個NameNode在同一個集群中，這里集群ID為hadoop-federation-clusterId。

在第二臺NameNode上。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId1

在第二臺NameNode上。

[hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId1

11、啟動NameNode

在第一臺、第二臺、第三臺機(jī)器上啟動NameNode：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode1
2
3

啟動后，用jps命令查看是否已經(jīng)啟動成功。

查看HDFS Web頁面，此時三個NameNode都是standby狀態(tài)。

enter image description here

12、啟動DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode1
2
3

啟動后，用jps命令確認(rèn)DataNode進(jìn)程已經(jīng)啟動成功。

四十九、測試HDFS Federation

1、修改core-site.xml

在bigdata-senior01機(jī)器上,修改core-site.xml文件，指定連接的NameNode是第一臺NameNode。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://bigdata-senior01.:8020</value>
  </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp</value>
</property>
</configuration>1
2
3
4
5
6
7
8
9
10

2、在bigdate-senior01上傳一個文件到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh1
2

3、查看HDFS文件

enter image description here

可以看到，剛才的文件只上傳到了bigdate-senior01機(jī)器上的NameNode上了，并沒有上傳到其他的NameNode上去。

這樣，在HDFS的客戶端，可以指定要上傳到哪個NameNode上，從而來達(dá)到了劃分NameNode的目的。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：燕相識歸來 > 《java》

舉報/認(rèn)領(lǐng)