設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的數據都會(huì )一直保存在狀態(tài)里，不會(huì )清理！要么設置 TTL ，要么使用 Flink SQL 的 ......

數據傾斜原理 數據傾斜就是數據的分布嚴重不均，流入部分算子的數據明顯多余其他算子，造成這部分算子壓力過(guò)大。 影響 單點(diǎn)問(wèn)題 數據集中在某些分區上（Subtask），導致數據嚴重不平衡。 GC 頻繁 過(guò)多的數據集中在某些 JVM（TaskManager）， ......

簡(jiǎn)介 反壓（backpressure）是實(shí)時(shí)計算應用開(kāi)發(fā)中，特別是流式計算中，十分常見(jiàn)的問(wèn)題。反壓意味著(zhù)數據管道中某個(gè)節點(diǎn)成為 瓶頸，處理速率跟不上上游發(fā)送數據的速率，而需要對上游進(jìn)行限速。由于實(shí)時(shí)計算應用通常使用消息隊列來(lái)進(jìn)行生產(chǎn)端和 消費端的解耦，消費 ......

RocksDB 介紹 RocksDB 是嵌入式的 Key-Value 數據庫，在 Flink 中被用作 RocksDBStateBackend 的底層存儲。如下圖所示，RocksDB 持久化的 SST文件在本地文件系統上通過(guò)多個(gè)層級進(jìn)行組織，不同層級之間會(huì ) ......