大數(shù)據(jù)培訓(xùn)_Flume海量日志采集快速入門

發(fā)布時(shí)間： 2019-09-18 17:06:15

　　大數(shù)據(jù)培訓(xùn)_Flume海量日志采集快速入門

　　Flume 介紹
　　Flume 是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。
　　Flume 可以采集文件，socket 數(shù)據(jù)包等各種形式源數(shù)據(jù)，又可以將采集到的數(shù)據(jù)輸出到 HDFS、hbase、hive、 kafka 等眾多外部存儲(chǔ)系統(tǒng)中一般的采集需求，通過對 flume 的簡單配置即可實(shí)現(xiàn)
　　Flume 針對特殊場景也具備良好的自定義擴(kuò)展能力，因此，flume 可以適用于大部分的日常數(shù)據(jù)采集場景
　　Flume運(yùn)行機(jī)制
　　1、 Flume 分布式系統(tǒng)中最核心的角色是 agent，flume 采集系統(tǒng)就是由一個(gè)個(gè) agent 所連接起來形成
　　2、每一個(gè) agent 相當(dāng)于一個(gè)數(shù)據(jù)傳遞員，內(nèi)部有三個(gè)組件：
　?、佟ource：采集源，用于跟數(shù)據(jù)源對接，以獲取數(shù)據(jù)
　?、凇ink：下沉地，采集數(shù)據(jù)的傳送目的，用于往下一級 agent 傳遞數(shù)據(jù)或者往最終存儲(chǔ)系統(tǒng)傳遞數(shù)據(jù)

　　③　Channel：angent 內(nèi)部的數(shù)據(jù)傳輸通道，用于從 source

大數(shù)據(jù)培訓(xùn)

　　flume 接收telnet網(wǎng)絡(luò)數(shù)據(jù)

vi netcat-logger.conf

# 定義這個(gè)agent中各組件的名字

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# 描述和配置source組件：r1

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

# 描述和配置sink組件：k1

a1.sinks.k1.type = logger

# 描述和配置channel組件，此處使用是內(nèi)存緩存的方式

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# 描述和配置source channel sink之間的連接關(guān)系

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

　　啟動(dòng)Flume
　　?[hd@Mas?ter flume]# flume-ng agent -c /home/hd/apps/flume/conf/ -f example/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

　　?Flume采集日志文件到HDFS

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

#監(jiān)聽目錄,spoolDir指定目錄, fileHeader要不要給文件夾前墜名

a1.sources.r1.type = spooldir

a1.sources.r1.spoolDir = /home/hadoop/flumespool

a1.sources.r1.fileHeader = true

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

　　啟動(dòng)Flume
　　?[hd@ma?ster flume]# flume-ng agent -c /home/hd/apps/flume/conf/ -f example/spool-logger.conf -n a1 -Dflume.root.logger=INFO,console

您可能也喜歡：