簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。 主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前 ......

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下： 與 namenode 進(jìn)行預注冊握手。 向 namenode 注冊。 定期向 namenode 發(fā)送心跳。 處理從 namenode 收到的命令。 ......

neovim是從vim的一個(gè)分支fork出來(lái)的，從性能等方面來(lái)講都比vim強很多，所以從vim轉到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-config/src/branch/ma ......

問(wèn)題現象 執行docker stop xxxx報錯如下： Error response from daemon: cannot stop container: xxxx: tried to kill container, but did not recei ......

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是 ......

NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem） 。 HDFS文件系統的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹(shù)， 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesyste ......

作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit()，主要如下： public void subm ......

常見(jiàn)命令記錄，總結篇

簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接 ......