簡(jiǎn)介 源碼解析 Capacity 調度器的核心類(lèi)是CapacityScheduler。在初始化CapacityScheduler的時(shí)候，在構造函數initAsyncSchedulingProperties，里面會(huì )初始化調度器相關(guān)。 核心類(lèi)是AsyncSc ......

簡(jiǎn)介 為了解決HDFS的水平擴展性問(wèn)題，社區從Apache Hadoop 0.23.0版本開(kāi)始引入了HDFS federation。HDFS Federation是指 HDFS集群可同時(shí)存在多個(gè)NameNode/Namespace，每個(gè)Namespace之 ......

簡(jiǎn)介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK實(shí)現主備倒換的。核心的類(lèi)為：ZKFailoverController.java, 選舉的核心類(lèi)為ActiveStandbyElector.java 主備選舉 主備選舉的核 ......

客戶(hù)端認證 客戶(hù)端的入口函數為 KerberosAuthenticator.authenticate函數 連接HTTP服務(wù)端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......

簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。 主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前 ......

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下： 與 namenode 進(jìn)行預注冊握手。 向 namenode 注冊。 定期向 namenode 發(fā)送心跳。 處理從 namenode 收到的命令。 ......

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是 ......

NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem） 。 HDFS文件系統的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹(shù)， 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesyste ......

作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit()，主要如下： public void subm ......