Flink基本架構

Flink 的 Master 節點(diǎn)包含了三個(gè)組件: Dispatcher、ResourceManager 和 JobManager。

• Dispatcher: 負責接收用戶(hù)提供的作業(yè)，并且負責為這個(gè)新提交的作業(yè)拉起一個(gè)新的 JobManager 服務(wù)；
• ResourceManager: 負責資源的管理，在整個(gè) Flink 集群中只有一個(gè) ResourceManager，資源相關(guān)的內容都由這個(gè)服務(wù)負責；
• JobManager: 負責管理具體某個(gè)作業(yè)的執行，在一個(gè) Flink 集群中可能有多個(gè)作業(yè)同時(shí)執行，每個(gè)作業(yè)都會(huì )有自己的 JobManager 服務(wù)。

當用戶(hù)開(kāi)始提交一個(gè)作業(yè)，首先會(huì )將用戶(hù)編寫(xiě)的代碼轉化為一個(gè)JobGraph。

• Standalone 這種 Session 模式（對于 YARN 模式來(lái)說(shuō)），這種情況下 Client 可以直接與 Dispatcher 建立連接并提交作業(yè)；
• Per-Job 模式，這種情況下 Client 首先向資源管理系統 （如 Yarn）申請資源來(lái)啟動(dòng) ApplicationMaster，然后再向
  ApplicationMaster 中的 Dispatcher 提交作業(yè)。

當作業(yè)到 Dispatcher 后，Dispatcher 會(huì )首先啟動(dòng)一個(gè) JobManager 服務(wù)，然后 JobManager 會(huì )向 ResourceManager 申請資
源來(lái)啟動(dòng)作業(yè)中具體的任務(wù)。ResourceManager 選擇到空閑的 Slot （Flink 架構-基本概念）之后，就會(huì )通知相應的 TM 將
該 Slot 分配給指定的 JobManager。

Master 啟動(dòng)整體流程

Flink 集群 Master 節點(diǎn)在初始化時(shí)，會(huì )先調用 ClusterEntrypoint 的 runClusterEntrypoint() 方法啟動(dòng)集群，其整體流程如下圖所示：