簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成： 調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單 ......

簡(jiǎn)介 本章詳細介紹NameNode啟動(dòng)過(guò)程。主要是代碼級別的解釋。 nameNode的啟動(dòng)主要是有NameNode.java主導的，由main函數開(kāi)始了解。 下面是main函數里面的主要內容，可以看到主要由createNameNode實(shí)現NameNode的 ......

簡(jiǎn)介 NameNode管理著(zhù)整個(gè)HDFS文件系統的元數據。 從架構設計上看，元數據大致分成兩個(gè)層次：Namespace管理層，負責管理文件系統中的樹(shù)狀目錄結構以及文件與數據塊的映射關(guān)系； 塊管理層，負責管理文件系統中文件的物理塊與實(shí)際存儲位置的映射關(guān)系Bl ......

作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù) ......

Apache Hudi將核心倉庫和數據庫功能直接帶到數據湖中。Hudi提供了表、事務(wù)、高效upserts/刪除、高級索引、流式攝取服務(wù)、數據群集/壓縮優(yōu)化以及并發(fā)，同時(shí)保持數據以開(kāi)源文件格式保留。 Hudi是Hadoop Upserts and Incre ......

RocksDB是一個(gè)高性能、可擴展、嵌入式、持久化、可靠、易用和可定制的鍵值存儲庫。它采用LSM樹(shù)數據結構，支持高吞吐量的寫(xiě)入和快速的范圍查詢(xún)，可被嵌入到應用程序中，實(shí)現持久化存儲，支持水平擴展，可以在多臺服務(wù)器上部署，實(shí)現集群化存儲，具有高度的可靠性和穩 ......

Flink 的 Master 節點(diǎn)包含了三個(gè)組件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 負責接收用戶(hù)提供的作業(yè)，并且負責為這個(gè)新提交的作業(yè)拉起一個(gè)新的 JobManager 服務(wù)； R ......

在我的Linux筆記本上面運行一個(gè)jar包的時(shí)候報錯如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /usr/lib/jvm/java-1 ......

Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制（Savepoints）是檢查點(diǎn)機制一種特殊的實(shí)現，它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint，并將結果持久化存儲到指定路徑中，主要用于避免Flink集群在 ......