1 首先是通過程序員所編寫的MR程序通過命令行本地提交或者IDE遠(yuǎn)程提交
2 一個MR程序就是一個Job,Job信息會給Resourcemanger,向Resourcemanger注冊信息
-
3 在注冊通過后,Job會拷貝相關(guān)的資源信息(從HDFS中)
4 緊接著會向Resourcemanger提交完整的Job信息(包括資源信息)
5a Resourcemanger 會通過提交的Job信息,計算出Job所需的資源,為Job分配Container資源
5b 計算資源會分發(fā)給對應(yīng)的NodeManger,NodeManager會創(chuàng)建一個MRAppMaster
6 MRAppMaster初始化Job
7 獲取輸入切片信息
8 MRAppMaster向ResourceManager 請求資源
9a 啟動計算資源(連接到對應(yīng)的資源所在NodeManager)
9b 啟動YARN Child
10 從文件系統(tǒng)中獲取完整的Job信息
11 啟動對應(yīng)的Maptask或者ReduceTask 進(jìn)程,執(zhí)行計算。
 
|