配置文件的修改

注意：以下所有操作都在node01主機(jī)進(jìn)行。

1.1 hadoop-env.sh

1、介紹

文件中設(shè)置的是Hadoop運(yùn)行時(shí)需要的環(huán)境變量。JAVA_HOME是必須設(shè)置的，即使我們當(dāng)前的系統(tǒng)中設(shè)置了JAVA_HOME，它也是不認(rèn)識(shí)的，因?yàn)镠adoop即使是在本機(jī)上執(zhí)行，它也是把當(dāng)前的執(zhí)行環(huán)境當(dāng)成遠(yuǎn)程服務(wù)器。

2、配置

  
  .
:

1.2 core-site.xml

1、介紹

hadoop的核心配置文件，有默認(rèn)的配置項(xiàng)core-default.xml。

core-default.xml與core-site.xml的功能是一樣的，如果在core-site.xml里沒(méi)有配置的屬性，則會(huì)自動(dòng)會(huì)獲取core-default.xml里的相同屬性大數(shù)據(jù)培訓(xùn)的值。

2、配置

在該文件中的<configuration>標(biāo)簽中添加以下配置,

  
  .

  :

 
    .
    :
 

 
 ..
   


 
   ...
   
 

 
   ..

1.3 hdfs-site.xml

1、介紹

HDFS的核心配置文件，主要配置HDFS相關(guān)參數(shù)，有默認(rèn)的配置項(xiàng)hdfs-default.xml。hdfs-default.xml與hdfs-site.xml的功能是一樣的，如果在hdfs-site.xml里沒(méi)有配置的屬性，則會(huì)自動(dòng)會(huì)獲取hdfs-default.xml里的相同屬性的值。

2、配置

在該文件中的<configuration>標(biāo)簽中添加以下配置,

<configuration>

在這里添加配置

</configuration>

  
  .





...
:



..
:



...
:



...
:



...
:



...
:


....
:



.




.




.




  .

1.4 mapred-site.xml

1、介紹

MapReduce的核心配置文件，Hadoop默認(rèn)只有個(gè)模板文件mapred-site.xml.template,需要使用該文件復(fù)制出來(lái)一份mapred-site.xml文件

2、配置

在mapred-site.xml文件中的<configuration>標(biāo)簽中添加以下配置,

<configuration>

在這里添加配置

</configuration>

  
 .. .


  .


:


..




...




..
:



...
:

1.5 mapred-env.sh

在該文件中需要指定JAVA_HOME,將原文件的JAVA_HOME配置前邊的注釋去掉，然后按照以下方式修改:

  
  .

1.6 yarn-site.xml

YARN的核心配置文件,在該文件中的<configuration>標(biāo)簽中添加以下配置,

<configuration>

在這里添加配置

</configuration>

  
  .





..



..




.




..



    
...


  
          ..
          


..

1.7 workers

1、介紹

workers文件里面記錄的是集群主機(jī)名。一般有以下兩種作用：

一是：配合一鍵啟動(dòng)腳本如start-dfs.sh、stop-yarn.sh用來(lái)進(jìn)行集群?jiǎn)?dòng)。這時(shí)候slaves文件里面的主機(jī)標(biāo)記的就是從節(jié)點(diǎn)角色所在的機(jī)器。

二是：可以配合hdfs-site.xml里面dfs.hosts屬性形成一種白名單機(jī)制。dfs.hosts指定一個(gè)文件，其中包含允許連接到NameNode的主機(jī)列表。必須指定文件的完整路徑名,那么所有在workers中的主機(jī)才可以加入的集群中。如果值為空，則允許所有主機(jī)。

2、配置

  
  
:

數(shù)據(jù)目錄創(chuàng)建和文件分發(fā)

注意：以下所有操作都在node01主機(jī)進(jìn)行。

2.1 目錄創(chuàng)建

創(chuàng)建Hadoop所需目錄

mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/dfs/snn/edits

2.2 文件分發(fā)

將配置好的Hadoop目錄分發(fā)到node02和node03主機(jī)。

    :
    :

配置Hadoop的環(huán)境變量

注意：三臺(tái)機(jī)器都需要執(zhí)行以下命令

  
:
 
 :::

啟動(dòng)集群

4.1 啟動(dòng)方式

要啟動(dòng)Hadoop集群，需要啟動(dòng)HDFS和YARN兩個(gè)集群。

注意：首次啟動(dòng)HDFS時(shí)，必須對(duì)其進(jìn)行格式化操作。本質(zhì)上是一些清理和準(zhǔn)備工作，因?yàn)榇藭r(shí)的HDFS在物理上還是不存在的。

在node01上執(zhí)行格式化指令

hadoop namenode -format

4.2 單節(jié)點(diǎn)逐個(gè)啟動(dòng)

在node01主機(jī)上使用以下命令啟動(dòng)HDFS NameNode：

hadoop-daemon.sh start namenode

在node01、node02、node03三臺(tái)主機(jī)上，分別使用以下命令啟動(dòng)HDFS DataNode：

hadoop-daemon.sh start datanode

在node01主機(jī)上使用以下命令啟動(dòng)YARN ResourceManager：

yarn-daemon.sh  start resourcemanager

在node01、node02、node03三臺(tái)主機(jī)上使用以下命令啟動(dòng)YARN nodemanager：

yarn-daemon.sh start nodemanager

以上腳本位于/export/server/hadoop-3.0.0/sbin目錄下。如果想要停止某個(gè)節(jié)點(diǎn)上某個(gè)角色，只需要把命令中的start改為stop即可。

4.3 腳本一鍵啟動(dòng)

.

.

.

啟動(dòng)之后，使用jps命令查看相關(guān)服務(wù)是否啟動(dòng)，jps是顯示Java相關(guān)的進(jìn)程命.

停止集群：stop-dfs.sh、stop-yarn.sh、mr-jobhistory-daemon.sh stophistoryserver

注意:如果在啟動(dòng)之后，有些服務(wù)沒(méi)有啟動(dòng)成功，則需要查看啟動(dòng)日志，Hadoop的啟動(dòng)日志在每臺(tái)主機(jī)的/export/server/hadoop-3.0.0/logs/目錄，需要根據(jù)哪臺(tái)主機(jī)的哪個(gè)服務(wù)啟動(dòng)情況去對(duì)應(yīng)的主機(jī)上查看相應(yīng)的日志。