安裝部署Flume的步驟

發(fā)布時間： 2022-05-19 10:28:28

安裝部署Flume的步驟并不復(fù)雜，讀者可以閱讀下面的操作流程來快速部署Flume。本節(jié)給大家演示兩種部署方式：單點(diǎn)部署和高可用部署。

1.單點(diǎn)部署

提示：下面演示的是在某一臺服務(wù)器(節(jié)點(diǎn))上，部署Flume并啟動進(jìn)程服務(wù)。由于進(jìn)程服務(wù)是在一臺服務(wù)器(節(jié)點(diǎn))上運(yùn)行，當(dāng)該進(jìn)程服務(wù)被人為停止或者因服務(wù)器宕機(jī)導(dǎo)致Flume進(jìn)程服務(wù)停止，從而使Flume進(jìn)程服務(wù)不可用時，導(dǎo)致數(shù)據(jù)傳輸不能正常進(jìn)行，這樣的現(xiàn)象被稱為單點(diǎn)。

(1)下載：在Flume官方網(wǎng)站上獲取Flume版本下載地址，然后在nna節(jié)點(diǎn)上使用Linux命令下載軟件安裝包。操作命令如下：

提示：如果操作的集群不能連接網(wǎng)絡(luò)，可以先在本地機(jī)器上下載Flume軟件安裝包，再上傳到nna節(jié)點(diǎn)/data/soft/new/目錄下。

(2)解壓：將/data/soft/new/目錄下的Flume軟件安裝包進(jìn)行解壓，并重命名。操作命令如下：

(3)配置環(huán)境變量：在/etc/profile文件下配置Flume的環(huán)境變量。操作命令如下：

完成環(huán)境變量配置后，使用source命令使配置的環(huán)境變量立即生效。操作命令如下：

(4)編輯Flume配置文件：在$FLUME_HOME/conf/flume-conf.properties文件中配置數(shù)據(jù)源采集路徑、數(shù)據(jù)臨時存儲路徑、數(shù)據(jù)發(fā)送路徑及類型等內(nèi)容。操作內(nèi)容見代碼1。

代碼1 單點(diǎn)Flume配置文件

(5)指定JAVA_HOME：在Flume的環(huán)境變量腳本($FLUME_HOME/conf/flume-env.sh)中，指定JAVA_HOME變量所對應(yīng)的JDK路徑。操作命令如下：

(6)啟動：完成上述配置后，開始啟動Flume服務(wù)用于收集數(shù)據(jù)。操作命令如下：

啟動命令中，agent1表示配置文件中的Agent的名稱，和flume-conf.properties文件中agent1保持一致。啟動Flume服務(wù)后，在/data/flume/logdfs/目錄下模擬放置一些數(shù)據(jù)文件讓Flume Agent進(jìn)行采集，若本地數(shù)據(jù)文件采集完成后，文件名會重新命名，以“.COMPLETED”后綴結(jié)尾。最后，可以到Hadoop分布式文件系統(tǒng)(HDFS)的/data/flume/logdfs/路徑下查看采集的數(shù)據(jù)，如圖1所示。

圖1 Flume采集

2.高可用部署

在單點(diǎn)部署Flume時，如果部署的節(jié)點(diǎn)發(fā)生故障會導(dǎo)致整個采集不可用，而高可用部署正好能解決這一問題，能夠確保在一個服務(wù)節(jié)點(diǎn)宕機(jī)，整個Flume采集服務(wù)依然可用。高可用部署Flume架構(gòu)如圖2所示。

圖2 高可用部署Flume架構(gòu)圖

(1)角色分配：本書搭建高可用Flume集群使用了3個Agent(用于客戶端采集)、2個Collector(用于提供服務(wù))來進(jìn)行部署。分布詳情如表1所示。

表1 高可用Flume集群角色分布

提示：Flume帶有故障自動轉(zhuǎn)移(Failover)機(jī)制，可以自動切換和恢復(fù)服務(wù)，所以這里配置兩個Collector用于對外提供服務(wù)。

(2)添加配置文件：在單點(diǎn)部署的基礎(chǔ)上添加兩個配置文件即可滿足高可用性，這兩個配置文件分別是flume-client.properties和flume-server.properties。具體內(nèi)容見代碼2和代碼3所示。

代碼2 flume-client.properties文件