【Hadoop】ResourceManager簡(jiǎn)介
簡(jiǎn)介 ResourceManager(RM),RM是全局的資源管理器,負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成: 調度器:根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container,container是一個(gè)動(dòng)態(tài)資源單位,它將內存、CPU、磁盤(pán)、網(wǎng)絡(luò )等資源封裝在一起,從而限定了資源使用量。 調度器是一個(gè)可插拔的組件,用戶(hù)可以自己定制,也可以選擇Fair或Capacity調度器. 應用程序管理器:負責管理所有應用程序的 ......
hadoop
|
2023-11-25
0 評論
2,178 瀏覽
neovim 從0開(kāi)始配置優(yōu)化
neovim是從vim的一個(gè)分支fork出來(lái)的,從性能等方面來(lái)講都比vim強很多,所以從vim轉到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-config/src/branch/master里面。 快速使用方法: ```bash git clone https://git.zeekling.cn/linux/nvim-config.git ~/.config/nvim # 或者 git ......
neovim
|
2024-06-09
2 評論
2,416 瀏覽
【Hadoop】FSDirectory詳解
Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)(即命名空間namesystem) 。 HDFS文件系統的命名空間(namespace) , 也就是以“/”為根的整個(gè)目錄樹(shù), 是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesystem也提供了管理目錄樹(shù)結構的方法。 FSNamesystem中的方法多是調用FSDirectory類(lèi)的實(shí)現。FSNamesystem在FSDirectory類(lèi)方法的基礎上添加了editlog日志記錄的功能。 ......
hadoop
|
2024-03-31
0 評論
2,015 瀏覽
【Hadoop】Yarn 作業(yè)啟動(dòng)源碼解讀
作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java,看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit(),主要如下: public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); s ......
yarn
hadoop
|
2023-12-07
1 評論
2,285 瀏覽
docker stop container 報錯:tried to kill container, but did not receive an exit event
問(wèn)題現象 執行docker stop xxxx報錯如下: Error response from daemon: cannot stop container: xxxx: tried to kill container, but did not receive an exit event 執行下面命令重啟docker,發(fā)現container依舊在,依舊無(wú)法停止。 systemctl restart docker 解決方案 通過(guò)docker ps查看co ......
Docker
|
2024-06-02
2 評論
2,486 瀏覽
【Hadoop】jobhistory 作業(yè)緩存源碼詳解
jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中,查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún),如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層,第一層是guava緩存,默認情況下guava的緩存個(gè)數是5,可以通過(guò)配置項mapreduce.jobhistory.loadedjobs.cache.size控制。 當guava的一級緩存中不存在的時(shí)候,默認是需要重新加載的,jobhistory中定義了加載規則 ......
hadoop
|
2024-05-26
0 評論
1,631 瀏覽
國產(chǎn)動(dòng)漫詳細列表
國產(chǎn)動(dòng)漫詳細列表,簡(jiǎn)單記錄最近可以看的動(dòng)漫列表。持續更新。
動(dòng)漫
|
2019-06-26
21 評論
14,560 瀏覽
決策樹(shù)詳解
和支持向量機一樣, 決策樹(shù)是一種多功能機器學(xué)習算法, 即可以執行分類(lèi)任務(wù)也可以執行回歸任務(wù), 甚至包括多輸出(multioutput)任務(wù).
機器學(xué)習
轉載
|
2019-07-20
0 評論
1,635 瀏覽
K近鄰算法(KNN)詳解
K近鄰算法,即是給定一個(gè)訓練數據集,對新的輸入實(shí)例,在訓練數據集中找到與該實(shí)例最鄰近的K個(gè)實(shí)例,這K個(gè)實(shí)例的多數屬于某個(gè)類(lèi),就把該輸入實(shí)例分類(lèi)到這個(gè)類(lèi)中.
機器學(xué)習
|
2019-09-15
0 評論
1,388 瀏覽
深入理解L1,L2正則化
正則化(Regularization) 是機器學(xué)習中對原始損失函數引入額外信息,以便防止過(guò)擬合和提高模型泛化性能的一類(lèi)方法的統稱(chēng)。正則化是在經(jīng)驗風(fēng)險上面加了一個(gè)正則化項或者懲罰項,正則化函數一般是模型法則度的單調增函數,模型越負責,正則化值就越大.
機器學(xué)習
|
2019-09-22
0 評論
2,167 瀏覽
Dialogue Transformers 論文詳解
論文中引入 transformer 的結構,其中注意力模型在對話(huà)輪的順序上面起了了作用.最近我們使用遞歸神經(jīng)網(wǎng)絡(luò )多輪對話(huà)的上下文中用戶(hù)說(shuō)的話(huà),但是我們原本認為注意力模型會(huì )更適合多輪場(chǎng)景.默認情況下,RNN假設每個(gè)選項和完整的序列有關(guān),但是一輪對話(huà)當中包括一些交錯的對話(huà)邏輯在里面. transformer 模型可以選擇忽略或者選擇對話(huà)的一部分內容.們比較了 Transformer Embedding Dialogue對話(huà)策略對LSTM和REDP的政策.旨在克服 ......
論文
機器學(xué)習
|
2019-11-24
0 評論
3,136 瀏覽
The RavenClaw dialog management framework 論文閱讀
本文描述了一個(gè)基于計劃的、獨立于任務(wù)的對話(huà)管理框架RavenClaw。該框架的一個(gè)關(guān)鍵特點(diǎn)是,它將對話(huà)控制邏輯的特定領(lǐng)域方面與獨立于領(lǐng)域的對話(huà)技巧隔離開(kāi)來(lái),并在這個(gè)過(guò)程中促進(jìn)了在復雜的、面向任務(wù)的領(lǐng)域中運行的混合主動(dòng)系統的快速發(fā)展。系統開(kāi)發(fā)人員可以專(zhuān)注于描述對話(huà)框任務(wù)控制邏輯,而RavenClaw對話(huà)框引擎則透明地支持和執行大量與領(lǐng)域無(wú)關(guān)的會(huì )話(huà)技能,如錯誤處理、計時(shí)和輪流。
論文
機器學(xué)習
|
2019-11-30
0 評論
2,266 瀏覽
博客接入Google 廣告
最近可能是閑的蛋疼,所以打算在自己博客上面接入廣告。
生活
原創(chuàng )
|
2019-12-10
98 評論
24,296 瀏覽
刷算法 - a+b問(wèn)題
給出兩個(gè)整數 a 和 b , 求他們的和。
算法題
原創(chuàng )
|
2019-12-12
0 評論
1,335 瀏覽
Gogs遷移Gitea
Gogs 更新功能比 Gitea 少很多,雖然不一定用得到。 Gitea 更新快,一些 bug 解決的快一點(diǎn)(雖然我沒(méi)發(fā)現什么 bug) 可能是因為我 Gogs 用的時(shí)間久了,出現了視覺(jué)疲勞?
git
原創(chuàng )
|
2020-02-23
0 評論
5,007 瀏覽