debian 11 安裝clang-15 debian 11 使用apt install clang-15安裝失敗，可以使用下面命令安裝： wget https://mirrors.tuna.tsinghua.edu.cn/llvm-apt/llvm.sh ......

底層原理簡(jiǎn)介 LState:存儲左邊數據流中的數據。 RState：存儲右邊數據流中的數據。 當左邊數據流數據到達的時(shí)候會(huì )保存到LState，并且到RState中進(jìn)行Join。將Join生成的結果數據發(fā)送到下游。 右邊數據流中數據到達的時(shí)候，會(huì )保存到R ......

設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的數據都會(huì )一直保存在狀態(tài)里，不會(huì )清理！要么設置 TTL ，要么使用 Flink SQL 的 ......

數據傾斜原理 數據傾斜就是數據的分布嚴重不均，流入部分算子的數據明顯多余其他算子，造成這部分算子壓力過(guò)大。 影響 單點(diǎn)問(wèn)題 數據集中在某些分區上（Subtask），導致數據嚴重不平衡。 GC 頻繁 過(guò)多的數據集中在某些 JVM（TaskManager）， ......

簡(jiǎn)介 反壓（backpressure）是實(shí)時(shí)計算應用開(kāi)發(fā)中，特別是流式計算中，十分常見(jiàn)的問(wèn)題。反壓意味著(zhù)數據管道中某個(gè)節點(diǎn)成為 瓶頸，處理速率跟不上上游發(fā)送數據的速率，而需要對上游進(jìn)行限速。由于實(shí)時(shí)計算應用通常使用消息隊列來(lái)進(jìn)行生產(chǎn)端和 消費端的解耦，消費 ......

RocksDB 介紹 RocksDB 是嵌入式的 Key-Value 數據庫，在 Flink 中被用作 RocksDBStateBackend 的底層存儲。如下圖所示，RocksDB 持久化的 SST文件在本地文件系統上通過(guò)多個(gè)層級進(jìn)行組織，不同層級之間會(huì ) ......

1. 內存設置 1.1 TaskManager 內存模型 TaskManager的內存模型如下圖所示(1.10之后版本內存模型)： Flink使用了堆上內存和堆外內存。 Flink 框架內存使用了堆外內存和堆外內存，不計入slot資源。 Task執行的 ......

跳躍表將有序鏈表中的部分節點(diǎn)分層，每一層都是一個(gè)有序鏈表。在查找時(shí)優(yōu)先從最高層開(kāi)始向后查找，當到達某節點(diǎn)時(shí)，如果next節點(diǎn)值大于要查找的值或next指針指向NULL，則從當前節點(diǎn)下降一層繼續向后查找，這樣可以有效提升效率。如下圖所示使用跳表查找51的路徑 ......

壓縮列表ziplist本質(zhì)上就是一個(gè)字節數組，是Redis為了節約內存而設計的一種線(xiàn)性數據結構，可以包含多個(gè)元素，每個(gè)元素可以是一個(gè)字節數組或一個(gè)整數。 Redis的有序集合、散列和列表都直接或者間接使用了壓縮列表。當有序集合或散列表的元素個(gè)數比較少，且元 ......

檢查操作系統配置 redis-server --check-system 結果如下，說(shuō)明檢查通過(guò)： [slow-clocksource]...OK [xen-clocksource]...OK [overcommit]...OK [THP]...OK ......