客戶(hù)端認證 客戶(hù)端的入口函數為 KerberosAuthenticator.authenticate函數 連接HTTP服務(wù)端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......

簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。 主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前 ......

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下： 與 namenode 進(jìn)行預注冊握手。 向 namenode 注冊。 定期向 namenode 發(fā)送心跳。 處理從 namenode 收到的命令。 ......

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是 ......

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem） 。 HDFS文件系統的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹(shù)， 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesyste ......

作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit()，主要如下： public void subm ......

常見(jiàn)命令記錄，總結篇

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成： 調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單 ......

flink 的安裝參照：flink 簡(jiǎn)單入門(mén)， 我們來(lái)了解下flink的配置文件。

最近開(kāi)始學(xué)習flink相關(guān)的，本文只是講述怎么簡(jiǎn)單的搭建flink以及簡(jiǎn)單的使用一個(gè)demo。