常見(jiàn)命令記錄，總結篇

簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接 ......

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成： 調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單 ......

簡(jiǎn)介 本章詳細介紹NameNode啟動(dòng)過(guò)程。主要是代碼級別的解釋。 nameNode的啟動(dòng)主要是有NameNode.java主導的，由main函數開(kāi)始了解。 下面是main函數里面的主要內容，可以看到主要由createNameNode實(shí)現NameNode的 ......

簡(jiǎn)介 NameNode管理著(zhù)整個(gè)HDFS文件系統的元數據。 從架構設計上看，元數據大致分成兩個(gè)層次：Namespace管理層，負責管理文件系統中的樹(shù)狀目錄結構以及文件與數據塊的映射關(guān)系； 塊管理層，負責管理文件系統中文件的物理塊與實(shí)際存儲位置的映射關(guān)系Bl ......

作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù) ......