乡下人产国偷v产偷v自拍,国产午夜片在线观看,婷婷成人亚洲综合国产麻豆,久久综合给合久久狠狠狠9

  • <output id="e9wm2"></output>
    <s id="e9wm2"><nobr id="e9wm2"><ins id="e9wm2"></ins></nobr></s>

    • 分享

      大數(shù)據(jù)-hadoop-MapReduce計算流程

       Coder編程 2020-06-24
      • MapReduce計算流程

        1  首先是通過程序員所編寫的MR程序通過命令行本地提交或者IDE遠(yuǎn)程提交

        2 一個MR程序就是一個Job,Job信息會給Resourcemanger,向Resourcemanger注冊信息

      • 3  在注冊通過后,Job會拷貝相關(guān)的資源信息(從HDFS中)

        4 緊接著會向Resourcemanger提交完整的Job信息(包括資源信息)

        5a  Resourcemanger 會通過提交的Job信息,計算出Job所需的資源,為Job分配Container資源

        5b 計算資源會分發(fā)給對應(yīng)的NodeManger,NodeManager會創(chuàng)建一個MRAppMaster

        6  MRAppMaster初始化Job

        7 獲取輸入切片信息

        8 MRAppMaster向ResourceManager 請求資源

        9a 啟動計算資源(連接到對應(yīng)的資源所在NodeManager)

        9b 啟動YARN Child

        10 從文件系統(tǒng)中獲取完整的Job信息

        11 啟動對應(yīng)的Maptask或者ReduceTask 進(jìn)程,執(zhí)行計算。

       

        本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報。
        轉(zhuǎn)藏 分享 獻(xiàn)花(0

        0條評論

        發(fā)表

        請遵守用戶 評論公約

        類似文章 更多