Flink 的 Master 節點(diǎn)包含了三個(gè)組件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 負責接收用戶(hù)提供的作業(yè)，并且負責為這個(gè)新提交的作業(yè)拉起一個(gè)新的 JobManager 服務(wù)； R ......

Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制（Savepoints）是檢查點(diǎn)機制一種特殊的實(shí)現，它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint，并將結果持久化存儲到指定路徑中，主要用于避免Flink集群在 ......

狀態(tài)后端和checkpoint詳解，包括常見(jiàn)checkpoint問(wèn)題處理。

Flink大數據常見(jiàn)問(wèn)題總結。

今天同事找我幫忙看一個(gè)Flink的問(wèn)題，現象是前幾天還能提交的客戶(hù)端，就在今天突然提交不了作業(yè)了，報錯提示大概如下（公司的東西涉密）， Caused by: org.apache.flink.api.common.InvalidProgramExcepti ......

底層原理簡(jiǎn)介 LState:存儲左邊數據流中的數據。 RState：存儲右邊數據流中的數據。 當左邊數據流數據到達的時(shí)候會(huì )保存到LState，并且到RState中進(jìn)行Join。將Join生成的結果數據發(fā)送到下游。 右邊數據流中數據到達的時(shí)候，會(huì )保存到R ......

設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的數據都會(huì )一直保存在狀態(tài)里，不會(huì )清理！要么設置 TTL ，要么使用 Flink SQL 的 ......

數據傾斜原理 數據傾斜就是數據的分布嚴重不均，流入部分算子的數據明顯多余其他算子，造成這部分算子壓力過(guò)大。 影響 單點(diǎn)問(wèn)題 數據集中在某些分區上（Subtask），導致數據嚴重不平衡。 GC 頻繁 過(guò)多的數據集中在某些 JVM（TaskManager）， ......

簡(jiǎn)介 反壓（backpressure）是實(shí)時(shí)計算應用開(kāi)發(fā)中，特別是流式計算中，十分常見(jiàn)的問(wèn)題。反壓意味著(zhù)數據管道中某個(gè)節點(diǎn)成為 瓶頸，處理速率跟不上上游發(fā)送數據的速率，而需要對上游進(jìn)行限速。由于實(shí)時(shí)計算應用通常使用消息隊列來(lái)進(jìn)行生產(chǎn)端和 消費端的解耦，消費 ......

RocksDB 介紹 RocksDB 是嵌入式的 Key-Value 數據庫，在 Flink 中被用作 RocksDBStateBackend 的底層存儲。如下圖所示，RocksDB 持久化的 SST文件在本地文件系統上通過(guò)多個(gè)層級進(jìn)行組織，不同層級之間會(huì ) ......