主要介紹在CentOS 7單機(jī)環(huán)境下的Hadoop搭建過程。

1.準(zhǔn)備Hadoop需要的軟件

(1)安裝Java軟件包。

CentOS 7發(fā)行版本默認(rèn)會(huì)安裝Java運(yùn)行環(huán)境，可以使用which命令來確認(rèn)Java是否安裝，命令如下：

也可以自行下載和安裝自己需要的Java版本，建議Java版本高于7.0。

這里使用從官方網(wǎng)站下載的最新版本的Java開發(fā)包，下載地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html。

將下載好的安裝包安裝到指定位置，這里以保存到/opt目錄下為例，操作命令如下：

設(shè)置環(huán)境變量“JAVA_HOME”，這個(gè)變量用來指定Java程序的工作目錄。在/etc/bashrc目錄下添加Java安裝目錄，命令如下：

(2)設(shè)置SSH通過秘鑰方式訪問。Hadoop多個(gè)節(jié)點(diǎn)之間通信會(huì)采用SSH秘鑰認(rèn)證方式，為避免每次通信都需要用戶輸入密碼，這里需要生成一對(duì)SSH秘鑰，生成秘鑰使用如下命令：

(3)下載Hadoop軟件包。訪問http://hadoop.apache.org/releases.html#Download，這里提供了多個(gè)版本的Hadoop軟件包下載，建議讀者測(cè)試和開發(fā)時(shí)使用最新的穩(wěn)定版本(Stable)，這里以2.6.4版本為例，下載位置如圖1所示。

圖1 下載位置

下載完成后將Hadoop解壓縮到/opt目錄，并設(shè)置環(huán)境變量指向Hadoop的安裝目錄。命令如下：

2.修改配置文件并啟動(dòng)服務(wù)

(1)修改Hadoop HDFS配置文件。接下來需要設(shè)置Hadoop的配置文件，這種單機(jī)運(yùn)行的模式也稱作偽分布模式，和集群模式略有區(qū)別。這里使用偽分布模式進(jìn)行部署。修改如下配置文件。

①$HADOOP_HOME/etc/hadoop/core-site.xml。

②$HADOOP_HOME/etc/hadoop/hdfs-site.xml。

(2)啟動(dòng)Hadoop HDFS服務(wù)。

①首次啟動(dòng)格式化存儲(chǔ)空間。

②啟動(dòng)NameNode和DataNode進(jìn)程。

③驗(yàn)證端口是否啟動(dòng)。

(3)修改Hadoop YARN配置文件。

①$HADOOP_HOME/etc/hadoop/mapred-site.xml。

②$HADOOP_HOME/etc/hadoop/yarn-site.xml。

(4)啟動(dòng)Hadoop YARN服務(wù)。

①啟動(dòng)命令如下：

②驗(yàn)證端口是否啟動(dòng)。

偽分布方式配置起來非常簡(jiǎn)單，多用于開發(fā)環(huán)境部署，接下來就對(duì)偽分布環(huán)境進(jìn)行測(cè)試。