Flink介紹?

?Flink是一個批處理和流處理結(jié)合的統(tǒng)一計算框架，其核心是一個提供了數(shù)據(jù)分發(fā)以及并行化計算的流數(shù)據(jù)處理引擎。它的較大亮點是流處理，是業(yè)界認(rèn)可度高的開源流處理引擎。

Flink與Storm類似，屬于事件驅(qū)動型實時流系統(tǒng)。

Apache Flink是由Apache軟件基金會開發(fā)的開源流處理框架，其核心是用Java和Scala編寫的分布式流數(shù)據(jù)流引擎。Flink以數(shù)據(jù)并行和流水線方式執(zhí)行任意流數(shù)據(jù)程序，F(xiàn)link的流水線運(yùn)行時系統(tǒng)可以執(zhí)行批處理和流處理程序。此外，F(xiàn)link的運(yùn)行時本身也支持迭代算法的執(zhí)行。

Flink特點

1、流處理引擎

2、容錯，可靠性

3、可擴(kuò)展性，1000節(jié)點以上

4、性能，高吞吐量，低延遲

Flink架構(gòu)

1、Data storage底層是數(shù)據(jù)存儲

2、Single node execution表示的是部署方式

3、Local Environment等表示的是不同的運(yùn)行環(huán)境

4、Flink Local Runtime表示是運(yùn)行線程

5、Flink Optimizer，F(xiàn)link Stream Builder等表示的是優(yōu)化器

6、Common API表示的是Flink平臺的API

7、Scala API和Java API表示的是對外提供的API

流計算框架Flink與Storm的性能對比

Apache Flink 和 Apache Storm 是當(dāng)前業(yè)界廣泛使用的兩個分布式實時計算框架。其中 Apache Storm（以下簡稱“Storm”）在美團(tuán)點評實時計算業(yè)務(wù)中已有較為成熟的運(yùn)用，有管理平臺、常用 API 和相應(yīng)的文檔，大量實時作業(yè)基于 Storm 構(gòu)建。而 Apache Flink（以下簡稱“Flink”）在近期倍受關(guān)注，具有高吞吐、低延遲、高可靠和精確計算等特性，對事件窗口有很好的支持，目前在美團(tuán)點評實時計算業(yè)務(wù)中也已有一定應(yīng)用。

Flink 與 Storm 兩個框架對比

?美團(tuán)外賣處理性能對比

以美團(tuán)外賣10分鐘內(nèi)接單的處理能力作為對比

上圖中藍(lán)色柱形為單線程 Storm 作業(yè)的吞吐，橙色柱形為單線程 Flink 作業(yè)的吞吐。Identity 邏輯下，Storm 單線程吞吐為 8.7 萬條/秒，F(xiàn)link 單線程吞吐可達(dá) 35 萬條/秒。當(dāng) Kafka Data 的 Partition 數(shù)為 1 時，F(xiàn)link 的吞吐約為 Storm 的 3.2 倍;當(dāng)其 Partition 數(shù)為 8 時，F(xiàn)link 的吞吐約為 Storm 的 4.6 倍。由此可以看出，F(xiàn)link 吞吐約為 Storm 的 3-5 倍。

Flink應(yīng)用場景

Flink最適合的應(yīng)用場景是低時延的數(shù)據(jù)處理場景：高并發(fā)處理數(shù)據(jù)，時延毫秒級，且兼具可靠性。

典型應(yīng)用場景有：

1、互聯(lián)網(wǎng)金融業(yè)務(wù)。

2、點擊流日志處理。

3、輿情監(jiān)控。