NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......

簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接 ......

簡(jiǎn)介 NameNode管理著(zhù)整個(gè)HDFS文件系統的元數據。 從架構設計上看，元數據大致分成兩個(gè)層次：Namespace管理層，負責管理文件系統中的樹(shù)狀目錄結構以及文件與數據塊的映射關(guān)系； 塊管理層，負責管理文件系統中文件的物理塊與實(shí)際存儲位置的映射關(guān)系Bl ......

作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù) ......

Apache Hudi將核心倉庫和數據庫功能直接帶到數據湖中。Hudi提供了表、事務(wù)、高效upserts/刪除、高級索引、流式攝取服務(wù)、數據群集/壓縮優(yōu)化以及并發(fā)，同時(shí)保持數據以開(kāi)源文件格式保留。 Hudi是Hadoop Upserts and Incre ......

Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制（Savepoints）是檢查點(diǎn)機制一種特殊的實(shí)現，它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint，并將結果持久化存儲到指定路徑中，主要用于避免Flink集群在 ......

狀態(tài)后端和checkpoint詳解，包括常見(jiàn)checkpoint問(wèn)題處理。

1. 內存設置 1.1 TaskManager 內存模型 TaskManager的內存模型如下圖所示(1.10之后版本內存模型)： Flink使用了堆上內存和堆外內存。 Flink 框架內存使用了堆外內存和堆外內存，不計入slot資源。 Task執行的 ......

Kerberos認證在大數據場(chǎng)景下用的比較多，特別是在Hadoop生態(tài)下，認證基本用的都是Kerberos認證。一般來(lái)講Kerberos認證相對于其他方式的認證安全很多，同樣的認證的時(shí)候性能應該差一點(diǎn)。 國內某著(zhù)名大數據平臺MapReduce服務(wù)，頁(yè)叫做云 ......