北京呼風(fēng)喚雨文化傳媒有限公司

微信公眾號(hào)太多不好找到我們？

這個(gè)問題其實(shí)很容易解決，

置頂，或星標(biāo)公眾號(hào)“衛(wèi)星與網(wǎng)絡(luò)”

遇見你真好，希望能一直陪著你。

隨著我國發(fā)射空間科學(xué)衛(wèi)星的越來越多，科學(xué)數(shù)據(jù)量進(jìn)入爆發(fā)增長的時(shí)代，隨之帶來的空間科學(xué)衛(wèi)星大數(shù)據(jù)處理逐漸成為空間科學(xué)創(chuàng)新發(fā)展過程中重點(diǎn)關(guān)注的環(huán)節(jié)，建設(shè)一套高性能的地面數(shù)據(jù)處理系統(tǒng)是建設(shè)我國自主可控的空間科學(xué)大數(shù)據(jù)生態(tài)，助力科學(xué)成果產(chǎn)出的重要推手。

面向多星多任務(wù)并行處理的任務(wù)需求，針對空間科學(xué)衛(wèi)星大數(shù)據(jù)處理中的多分級分類、多源產(chǎn)品融合組織以及高時(shí)效性要求等特點(diǎn)，提出了適用于大數(shù)據(jù)處理業(yè)務(wù)場景的高可靠硬件環(huán)境設(shè)計(jì)方案，并針對科學(xué)衛(wèi)星處理任務(wù)類型多的特點(diǎn)，提出了基于任務(wù)類型感知的統(tǒng)一資源調(diào)度系統(tǒng)。完成了面向多星多任務(wù)的可擴(kuò)展地面大數(shù)據(jù)處理系統(tǒng)的研制，圓滿地支撐了中國科學(xué)院空間科學(xué)先導(dǎo)專項(xiàng)中的科學(xué)衛(wèi)星數(shù)據(jù)處理任務(wù)。

1 引言

空間科學(xué)是一門前沿交叉性學(xué)科，聚焦于宇宙和生命起源、太陽系與人類起源等基礎(chǔ)前沿主題，致力于解決暗物質(zhì)與暗能量、引力波、太陽活動(dòng)與空間天氣響應(yīng)等重大科學(xué)問題?？臻g科學(xué)是典型的“數(shù)據(jù)驅(qū)動(dòng)”型學(xué)科。以航天器平臺(tái)為主要手段獲取的科學(xué)數(shù)據(jù)對學(xué)科的發(fā)展具有舉足輕重的作用。一套優(yōu)良的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需要保障科學(xué)衛(wèi)星數(shù)據(jù)的正確性、完整性、可用性、易用性和時(shí)效性，最大限度地發(fā)揮出衛(wèi)星探測數(shù)據(jù)的研究價(jià)值。

國內(nèi)外就衛(wèi)星地面處理系統(tǒng)開展了大量的研制工作，形成了較穩(wěn)定的科學(xué)衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)框架。

國內(nèi)方面，遙感衛(wèi)星形成了面向單衛(wèi)星的基于分布式云存儲(chǔ)技術(shù)的地面實(shí)時(shí)處理系統(tǒng)[1]以及具有一定任務(wù)調(diào)度能力的多衛(wèi)星地面處理系統(tǒng)模式[2-3]；風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)基于高性能計(jì)算機(jī)集群建立了可支持風(fēng)云系列衛(wèi)星的存儲(chǔ)與服務(wù)[4-5]；我國基于面向服務(wù)架構(gòu)（service-oriented architecture，SOA）研制的天宮二號(hào)地面數(shù)據(jù)處理與服務(wù)系統(tǒng)實(shí)現(xiàn)了多領(lǐng)域、多載荷、海量數(shù)據(jù)的集中處理和管理[6]。

國外方面，歐洲空間天文中心（European space astronomy centre，ESAC）與日本宇宙航空研究開發(fā)機(jī)構(gòu)（Japan aerospace exploration agency，JAXA）采用 Docker 技術(shù)研制的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)可支持不同載荷數(shù)據(jù)處理算法的快速交換和部署[7-8]，很好地執(zhí)行了水星探測任務(wù) BepiColombo。

空間科學(xué)研究具有很強(qiáng)的競爭性，只有大膽創(chuàng)新才能孕育顛覆性的結(jié)果，這種學(xué)科內(nèi)稟屬性決定了每項(xiàng)空間科學(xué)任務(wù)在探測空間布局、探測內(nèi)容設(shè)計(jì)、有效載荷探測精度/分辨率方面與已有的衛(wèi)星任務(wù)有著巨大的差異或者提升。隨之而來的是衛(wèi)星任務(wù)對地面數(shù)據(jù)處理系統(tǒng)提出的新挑戰(zhàn)。

例如，空間天文警報(bào)信息的識(shí)別和發(fā)布要求是秒級響應(yīng)，處理時(shí)效性極高；先進(jìn)天基太陽天文臺(tái)（advanced space-based solar observatory，ASO-S）衛(wèi)星單日產(chǎn)生約 00 GB的原始觀測數(shù)據(jù)，處理數(shù)據(jù)量巨大；暗物質(zhì)粒子探測衛(wèi)星（dark matter particle explorer，DAMPE）要求星上探測數(shù)據(jù)不丟失一個(gè)源包，質(zhì)量要求嚴(yán)苛?？臻g科學(xué)衛(wèi)星數(shù)據(jù)的獨(dú)特性質(zhì)給衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)提出了更多的個(gè)性化需求。

當(dāng)前，我國空間科學(xué)衛(wèi)星任務(wù)呈現(xiàn)體系發(fā)展態(tài)勢，要求配套建設(shè)的地面數(shù)據(jù)處理系統(tǒng)可滿足多星多任務(wù)地面數(shù)據(jù)處理與管理需求。傳統(tǒng)的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)難以滿足大數(shù)據(jù)場景下的多領(lǐng)域、多種類、大體量、高時(shí)效性、高質(zhì)量等數(shù)據(jù)處理要求?；诖?，本文在細(xì)致分析空間科學(xué)衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需求與面臨的技術(shù)挑戰(zhàn)的基礎(chǔ)上，設(shè)計(jì)了一套可滿足多星多任務(wù)的空間科學(xué)衛(wèi)星大數(shù)據(jù)地面數(shù)據(jù)處理系統(tǒng)框架，系統(tǒng)地實(shí)現(xiàn)了衛(wèi)星下行數(shù)據(jù)的快速處理，對特定的天文警報(bào)數(shù)據(jù)實(shí)現(xiàn)了秒級快速處理。

2 空間科學(xué)衛(wèi)星大數(shù)據(jù)特性分析

空間科學(xué)衛(wèi)星的數(shù)據(jù)處理過程需根據(jù)學(xué)科進(jìn)行差異化流程設(shè)計(jì)，主要依據(jù)衛(wèi)星的數(shù)據(jù)產(chǎn)品分級定義劃分。從衛(wèi)星下行的原始數(shù)據(jù)到用于發(fā)布的 2 級或 3 級數(shù)據(jù)產(chǎn)品，每級數(shù)據(jù)產(chǎn)品的組織形態(tài)根據(jù)學(xué)科慣例以及衛(wèi)星任務(wù)數(shù)據(jù)處理和管理需求進(jìn)行自定義。

本文以引力波暴高能電磁對應(yīng)體全天監(jiān)測器（gravitational wave high-energy electromagnetic counterpart all-sky monitor，GECAM）衛(wèi)星為例介紹衛(wèi)星數(shù)據(jù)處理流程和數(shù)據(jù)產(chǎn)品組織過程的特點(diǎn)。GECAM衛(wèi)星是我國首顆具有警報(bào)數(shù)據(jù)實(shí)時(shí)下行能力的空間天文科學(xué)衛(wèi)星，星上下行的數(shù)據(jù)包括事例數(shù)據(jù)、并道數(shù)據(jù)、工程數(shù)據(jù)以及天文警報(bào)數(shù)據(jù)，其各級數(shù)據(jù)處理步驟以及數(shù)據(jù)產(chǎn)品組織過程具有典型的大數(shù)據(jù)量、密集型計(jì)算以及多源數(shù)據(jù)融合處理等特征。

由于星上計(jì)算資源和存儲(chǔ)資源非常有限以及載荷部分自身設(shè)計(jì)的原因，很多科學(xué)探測數(shù)據(jù)需要經(jīng)過解壓、解算以及融合等處理環(huán)節(jié)后才能成為可供科學(xué)家進(jìn)行科學(xué)分析的數(shù)據(jù)產(chǎn)品，下行處理過程中的輸出數(shù)據(jù)會(huì)根據(jù)平臺(tái)、載荷以及輔助數(shù)據(jù)的類型進(jìn)行分類處理，通常也會(huì)根據(jù)處理的程度進(jìn)行不同的數(shù)據(jù)產(chǎn)品格式定義。因此，衛(wèi)星數(shù)據(jù)處理流程的規(guī)劃往往與數(shù)據(jù)產(chǎn)品的分級定義有直接的關(guān)聯(lián)。

圖 1 展示了依據(jù)產(chǎn)品分級定義的 GECAM 衛(wèi)星 0 級產(chǎn)品處理流程。GECAM 衛(wèi)星通過遙測信道、數(shù)傳信道和北斗信道下行星上原始觀測數(shù)據(jù)。根據(jù)數(shù)據(jù)處理程度的不同，預(yù)處理數(shù)據(jù)產(chǎn)品主要?jiǎng)澐譃?0A、0B、0C、0D 和 0Q 等級別。GECAM 衛(wèi)星數(shù)據(jù)處理首先需要按照不 同的下行信道類型進(jìn)行區(qū)分處理，在每類處理中需根據(jù)產(chǎn)品子級定義不同的處理流程。

圖 1 GECAM 衛(wèi)星 0 級產(chǎn)品處理流程

從多源異構(gòu)數(shù)據(jù)中抽取相關(guān)信息并支持高效數(shù)據(jù)融合組織，按照產(chǎn)品格式要求輸出時(shí)間和內(nèi)容完整的數(shù)據(jù)產(chǎn)品是科學(xué)衛(wèi)星大數(shù)據(jù)處理的又一特點(diǎn)。根據(jù)科學(xué)衛(wèi)星探測任務(wù)的不同類型以及科學(xué)數(shù)據(jù)處理與研究分析的不同需求，數(shù)據(jù)產(chǎn)品組織的定義往往差異較大。為了實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品的可用性和易用性，通常會(huì)根據(jù)使用需求在產(chǎn)品中加入其他多源、異構(gòu)的輔助數(shù)據(jù)信息，產(chǎn)品組織和生產(chǎn)中存在對多源數(shù)據(jù)的提取、組織拼接需求。

常規(guī)觀測類的衛(wèi)星一般根據(jù)數(shù)據(jù)的生產(chǎn)時(shí)間或者軌道圈次進(jìn)行固定時(shí)間段數(shù)據(jù)內(nèi)容切分，比如按小時(shí)、按天、按軌道號(hào)進(jìn)行數(shù)據(jù)產(chǎn)品的組織；試驗(yàn)類或者提案類的科學(xué)衛(wèi)星需要針對一次試驗(yàn)或者一次提案覆蓋的時(shí)間段進(jìn)行數(shù)據(jù)產(chǎn)品的組織，將一次試驗(yàn)或者與提案相關(guān)的數(shù)據(jù)進(jìn)行融合組織。

GECAM 衛(wèi)星將觸發(fā)時(shí)刻產(chǎn)生的觸發(fā)信息組織成約 31 條短報(bào)文數(shù)據(jù)，并通過北斗系統(tǒng)實(shí)時(shí)下行至地面，同時(shí)將觸發(fā)時(shí)刻對應(yīng)的約 300 s 數(shù)據(jù)通過 X 波段優(yōu)先下行。由于觸發(fā)時(shí)段內(nèi)的數(shù)據(jù)對科學(xué)分析工作至關(guān)重要，為了方便科學(xué)家開展數(shù)據(jù)產(chǎn)品分析，呈現(xiàn)觸發(fā)時(shí)間段內(nèi)完整的數(shù)據(jù)內(nèi)容，在數(shù)據(jù)處理過程中為該類產(chǎn)品設(shè)計(jì)了特有的產(chǎn)品組織模型，如圖 2 所示。觸發(fā)數(shù)據(jù)產(chǎn)品組織中包括觸發(fā)數(shù)據(jù)、姿態(tài)數(shù)據(jù)、軌道數(shù)據(jù)、載荷工作狀態(tài)以及太陽月亮星歷等數(shù)據(jù)，這些數(shù)據(jù)分別來自載荷工程數(shù)據(jù)信道、爆發(fā)科學(xué)數(shù)據(jù)信道以及北斗短報(bào)文，在地面經(jīng)過多源融合處理后，按照觸發(fā)編號(hào)組織成特定的觸發(fā)數(shù)據(jù)產(chǎn)品。

圖 2 GECAM 衛(wèi)星觸發(fā)數(shù)據(jù)產(chǎn)品組織模型

空間科學(xué)衛(wèi)星數(shù)據(jù)的最大特點(diǎn)是種類多、來源廣、體量大。地面數(shù)據(jù)處理系統(tǒng)需要同時(shí)支持多個(gè)空間科學(xué)在軌衛(wèi)星下行數(shù)據(jù)處理任務(wù)。衛(wèi)星開展 7×24 小時(shí)不間斷的探測，源源不斷地產(chǎn)生新的科學(xué)數(shù)據(jù)并下行至地面，系統(tǒng)需對接收的多源、多信使原始數(shù)據(jù)（數(shù)傳信道數(shù)據(jù)、遙測信道數(shù)據(jù)、北斗短報(bào)文、甚高頻（very high frequency，VHF）數(shù)據(jù)）開展虛擬信道分離、解幀、源包提取、解包、排序、重組、物理量解析轉(zhuǎn)換、載荷粗略標(biāo)定、產(chǎn)品格式化等處理，按產(chǎn)品內(nèi)容和處理程度組織成不同級別的編輯級數(shù)據(jù)產(chǎn)品。

科學(xué)衛(wèi)星在軌單日探測數(shù)據(jù)量逐漸增長，硬 X 射線調(diào)制望遠(yuǎn)鏡（hard x-ray modulation telescope，HXMT）衛(wèi)星每日通過數(shù)傳 X 波段下行的原始數(shù)據(jù)約 27.9 GB，暗物質(zhì)粒子探測衛(wèi)星每日下行的原始數(shù)據(jù)約 26.69 GB，太極一號(hào)衛(wèi)星每日下行的原始數(shù)據(jù)約 8.05 GB，墨子號(hào)量子科學(xué)實(shí)驗(yàn)衛(wèi)星每日下行的原始數(shù)據(jù)約 0.41 GB，ASO-S 衛(wèi)星每日下行約 500 GB 的原始數(shù)據(jù)。

此外，還有中法天文衛(wèi)星 SVOM（space variable objects monitor）、愛因斯坦探針（Einstein probe，EP）衛(wèi)星以及中歐微笑衛(wèi)星SMILE（solar wind magnetosphere ionosphere link explorer）等待發(fā)射的科學(xué)衛(wèi)星，后續(xù)在軌科學(xué)衛(wèi)星單日下行的原始數(shù)據(jù)峰值量預(yù)計(jì)將達(dá)到800 GB，系統(tǒng)單日需生產(chǎn)數(shù)千類編輯級數(shù)據(jù)產(chǎn)品以及數(shù)十類星地時(shí)差、軌道根數(shù)、精密星歷、衛(wèi)星指向夾角等輔助數(shù)據(jù)產(chǎn)品，單日輸出的數(shù)據(jù)產(chǎn)品預(yù)計(jì)約 2 TB。

為了盡快拿到衛(wèi)星下行的第一手資料并在第一時(shí)間發(fā)現(xiàn)重大的科學(xué)事件，各衛(wèi)星科學(xué)應(yīng)用系統(tǒng)往往會(huì)對數(shù)據(jù)處理的時(shí)效性提出較高的要求。在下行數(shù)據(jù)量非常大的情況下，往往會(huì)對數(shù)據(jù)設(shè)置處理優(yōu)先級，將有科學(xué)事件警報(bào)意義的數(shù)據(jù)以最高優(yōu)先級進(jìn)行處理。尤其是針對空間天文類的衛(wèi)星探測任務(wù)，天體爆發(fā)事件轉(zhuǎn)瞬即逝，如不能快速處理并發(fā)現(xiàn)事件就會(huì)錯(cuò)失很多重要的發(fā)現(xiàn)。因此，為了滿足多源、多信使手段對已發(fā)現(xiàn)天體源/爆發(fā)源的觀測，空間天文數(shù)據(jù)對處理時(shí)效性提出了秒級或者分鐘級的要求。

特別地，空間天文警報(bào)數(shù)據(jù)產(chǎn)品的時(shí)效性要求達(dá)到了秒級。星上原始數(shù)據(jù)采用將所有數(shù)據(jù)混合的組織方式，如何設(shè)計(jì)高效的處理模式和資源調(diào)度框架以保證滿足秒級的處理時(shí)效性要求是地面數(shù)據(jù)處理系統(tǒng)面臨的一大挑戰(zhàn)。

空間科學(xué)衛(wèi)星數(shù)據(jù)處理的另一大特質(zhì)是需要從數(shù)據(jù)規(guī)范性、一致性和完整性等角度保障數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)可讀、可用、易用和好用。數(shù)據(jù)質(zhì)量控制要求意味著系統(tǒng)每進(jìn)行一次（級別）產(chǎn)品生產(chǎn)或數(shù)據(jù)傳輸，均需對數(shù)據(jù)產(chǎn)品質(zhì)量進(jìn)行審核和校驗(yàn)，確保數(shù)據(jù)在地面處理或傳輸中不引入錯(cuò)誤。遇到因星地傳輸導(dǎo)致的數(shù)據(jù)缺失或時(shí)間不連續(xù)時(shí)，為了保障數(shù)據(jù)完整性，系統(tǒng)需對備份數(shù)據(jù)或歷史數(shù)據(jù)進(jìn)行重新生產(chǎn)，這為系統(tǒng)中的產(chǎn)品版本識(shí)別與控制、產(chǎn)品組織和管理帶來了挑戰(zhàn)。

各空間科學(xué)衛(wèi)星的數(shù)據(jù)處理需求和目標(biāo)不同，因此各個(gè)數(shù)據(jù)處理環(huán)節(jié)中的計(jì)算需求也會(huì)根據(jù)處理目標(biāo)的不同而變化。例如 GECAM 衛(wèi)星 0D 級數(shù)據(jù)處理中，需對大量事例數(shù)據(jù)（時(shí)間分辨率優(yōu)于 1 s）中的時(shí)間碼進(jìn)行解算，解算算法包括 3 次擬合，計(jì)算復(fù)雜度高，屬于計(jì)算密集型處理任務(wù)，對 CPU 資源具有較高的需求；0B 級數(shù)據(jù)處理過程中需要頻繁調(diào)度地面系統(tǒng)公共信息庫提供的 WebService 接口獲取處理過程中需要的信息，這種跨服務(wù)器的頻繁I/O 查詢屬于 I/O 密集型處理任務(wù)，該類型的任務(wù)對 CPU 的消耗通常比較低；ASO-S 衛(wèi)星單次過境下行的原始數(shù)據(jù)約 110 GB，開展百 GB 量級的數(shù)據(jù)處理屬于典型的數(shù)據(jù)密集型處理任務(wù)，對 CPU 計(jì)算資源、存儲(chǔ)資源都是巨大的挑戰(zhàn)。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

作為空間科學(xué)衛(wèi)星的地面共性基礎(chǔ)設(shè)施，科學(xué)衛(wèi)星大數(shù)據(jù)處理系統(tǒng)需要統(tǒng)籌考慮衛(wèi)星數(shù)據(jù)產(chǎn)品的特性、數(shù)據(jù)處理過程的特征、以及工程任務(wù)的數(shù)據(jù)時(shí)效性和可靠性要求。從可擴(kuò)展的角度考慮，如果繼續(xù)采用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)，在每次擴(kuò)展新增衛(wèi)星及其有效載荷的數(shù)據(jù)處理功能時(shí)都需改變原始處理程序的編碼，進(jìn)行重新編譯和發(fā)布，不僅耗費(fèi)時(shí)間與人力成本，還可能引起軟件兼容性問題。因此，亟需研制一套具有可擴(kuò)展、高性能的數(shù)據(jù)處理系統(tǒng)，保證系統(tǒng)能夠靈活地對處理流程進(jìn)行動(dòng)態(tài)擴(kuò)展，實(shí)現(xiàn)科學(xué)衛(wèi)星大數(shù)據(jù)的快速處理與質(zhì)量控制要求。

本文基于“共性+衛(wèi)星專用插件”的設(shè)計(jì)理念，設(shè)計(jì)統(tǒng)一的任務(wù)調(diào)度與資源管理平臺(tái)，為各衛(wèi)星任務(wù)的專用插件提供統(tǒng)一的任務(wù)調(diào)度接口和資源調(diào)度接口，實(shí)現(xiàn)衛(wèi)星專用插件的動(dòng)態(tài)配置，如圖 3 所示。系統(tǒng)接收科學(xué)衛(wèi)星通過各個(gè)信道下行的原始數(shù)據(jù)，采用統(tǒng)一的處理計(jì) 算調(diào)度系統(tǒng)、統(tǒng)一的計(jì)算資源任務(wù)管理機(jī)制以及標(biāo)準(zhǔn)的任務(wù)調(diào)用接口和信息反饋機(jī)制，基于數(shù)據(jù)驅(qū)動(dòng)的方式對各個(gè)科學(xué)衛(wèi)星的數(shù)據(jù)處理插件進(jìn)行任務(wù)調(diào)度，并將生成的數(shù)據(jù)產(chǎn)品發(fā)送至相應(yīng)的科學(xué)應(yīng)用系統(tǒng)。

圖 3 空間科學(xué)衛(wèi)星大數(shù)據(jù)處理系統(tǒng)框架

3.1.1 大數(shù)據(jù)處理系統(tǒng)基礎(chǔ)軟件架構(gòu)

針對科學(xué)衛(wèi)星載荷數(shù)據(jù)處理方法多樣化、衛(wèi)星數(shù)據(jù)產(chǎn)品組織多源性、衛(wèi)星數(shù)據(jù)處理流程步驟環(huán)環(huán)相扣等特點(diǎn)，設(shè)計(jì)基于高性能計(jì)算集群以及超融合計(jì)算環(huán)境的大數(shù)據(jù)處理系統(tǒng)，采用統(tǒng)一任務(wù)與資源調(diào)度+專用業(yè)務(wù)插件擴(kuò)展的架構(gòu)形式，針對計(jì)算任務(wù)調(diào)度的實(shí)時(shí)性要求，采用 Kafka 分布式消息系統(tǒng)進(jìn)行消息和日志的傳遞；針對信息查詢類的接口，設(shè)計(jì)標(biāo)準(zhǔn)的WebService 服務(wù)?；A(chǔ)軟件架構(gòu)如圖 4 所示。

圖 4 空間科學(xué)大數(shù)據(jù)處理系統(tǒng)架構(gòu)

大數(shù)據(jù)處理系統(tǒng)最核心的功能是開展各科學(xué)衛(wèi)星的數(shù)據(jù)處理與質(zhì)量分析工作，針對各類不同的衛(wèi)星專用數(shù)據(jù)處理插件以及專用衛(wèi)星數(shù)據(jù)質(zhì)量分析與控制插件，各插件封裝統(tǒng)一標(biāo)準(zhǔn)的任務(wù)訂單接口以及 UDP 日志上報(bào)接口。

設(shè)計(jì)提供統(tǒng)一的數(shù)據(jù)接入接口，通過文件實(shí)體驗(yàn)證機(jī)制保證在數(shù)據(jù)傳輸過程中的安全性和正確性?；跀?shù)據(jù)驅(qū)動(dòng)的方式啟動(dòng)自動(dòng)數(shù)據(jù)處理流程，根據(jù)輸入的原始數(shù)據(jù)的類型，調(diào)度對應(yīng)的衛(wèi)星專用數(shù)據(jù)處理插件以及衛(wèi)星專用數(shù)據(jù)質(zhì)量分析與控制插件，實(shí)現(xiàn)科學(xué)衛(wèi)星的各級數(shù)據(jù)產(chǎn)品處理、標(biāo)準(zhǔn)化產(chǎn)品生成、數(shù)據(jù)快視、數(shù)據(jù)質(zhì)量分析以及質(zhì)量控制等功能。

統(tǒng)一任務(wù)調(diào)度引擎負(fù)責(zé)對輸入數(shù)據(jù)的類型進(jìn)行識(shí)別，并針對數(shù)據(jù)類型及其對應(yīng)的數(shù)據(jù)處理流程發(fā)送計(jì)算任務(wù)請求，實(shí)現(xiàn)計(jì)算任務(wù)的集中式調(diào)度以及分布式并行處理。在任務(wù)調(diào)度過程中，該引擎需要統(tǒng)籌考慮各科學(xué)衛(wèi)星的數(shù)據(jù)質(zhì)量信息以及過站計(jì)劃信息，將這些動(dòng)態(tài)信息作為任務(wù)調(diào)度的依據(jù)。這主要因?yàn)橐韵聝牲c(diǎn)。

（1）由于空間科學(xué)研究對數(shù)據(jù)產(chǎn)品的完整性要求非常高，地面接收站往往會(huì)進(jìn)行多備份數(shù)據(jù)接收，此外當(dāng)?shù)孛鏀?shù)據(jù)質(zhì)量控制過程中發(fā)現(xiàn)數(shù)據(jù)存在缺失時(shí)，往往會(huì)通過點(diǎn)播的方式進(jìn)行星上數(shù)據(jù)的回放，因此會(huì)有大量的冗余數(shù)據(jù)流入處理系統(tǒng)中。依靠存儲(chǔ)在科學(xué)衛(wèi)星數(shù)據(jù)質(zhì)量信息庫中內(nèi)容，統(tǒng)一任務(wù)調(diào)度引擎可以提前識(shí)別冗余數(shù)據(jù)，在生成任務(wù)的入口處進(jìn)行截流，避免冗余數(shù)據(jù)觸發(fā)處理任務(wù)進(jìn)而導(dǎo)致占用不必要的計(jì)算和存儲(chǔ)資源。

（2）通常衛(wèi)星每日的過站計(jì)劃都會(huì)提前幾天制定并通過數(shù)傳星歷表上傳至衛(wèi)星，為了保證計(jì)算資源的實(shí)時(shí)可獲取性，當(dāng)衛(wèi)星下行數(shù)據(jù)達(dá)到系統(tǒng)時(shí)能夠有足夠的資源開展數(shù)據(jù)處理任務(wù)，系統(tǒng)采用資源預(yù)約機(jī)制，基于科學(xué)衛(wèi)星過站計(jì)劃信息進(jìn)行資源的提前預(yù)定。

在數(shù)據(jù)存儲(chǔ)方面，為了提升緩存數(shù)據(jù)的讀寫效率以及系統(tǒng)的穩(wěn)定性，采用分布式文件系統(tǒng)實(shí)現(xiàn)多集群統(tǒng)一共享存儲(chǔ)。針對科學(xué)衛(wèi)星數(shù)據(jù)的組織特征建立基于標(biāo)準(zhǔn)元數(shù)據(jù)信息的高效數(shù)據(jù)存儲(chǔ)模型，從而提高各個(gè)插件的數(shù)據(jù)讀寫訪問速度。

3.1.2 大數(shù)據(jù)處理系統(tǒng)硬件基礎(chǔ)架構(gòu)

衛(wèi)星大數(shù)據(jù)高性能處理系統(tǒng)硬件架構(gòu)包括高性能計(jì)算集群、超融合計(jì)算環(huán)境以及分布式存儲(chǔ)環(huán)境 3 個(gè)部分，各個(gè)部分之間通過高速互聯(lián)交換機(jī)進(jìn)行數(shù)據(jù)的傳輸與交換，硬件基礎(chǔ)架構(gòu)如圖 5 所示。

高性能計(jì)算集群由調(diào)度管理節(jié)點(diǎn)和處理計(jì)算節(jié)點(diǎn)組成，其中調(diào)度管理節(jié)點(diǎn)采用雙路機(jī)架式服務(wù)器，以主備（active/standby）方式運(yùn)行；處理計(jì)算節(jié)點(diǎn)采用四路機(jī)架式服務(wù)器，根據(jù)業(yè)務(wù)應(yīng)用需求，通過調(diào)度管理算法實(shí)現(xiàn)硬件資源的分配管理。

超融合計(jì)算環(huán)境采用四路高性能服務(wù)器，通過部署 FusionSphere 虛擬化軟件將物理服務(wù)器的 CPU、內(nèi)存、設(shè)備 I/O 進(jìn)行硬件解耦，從而實(shí)現(xiàn)在單一物理服務(wù)器上可同時(shí)運(yùn)行多個(gè)虛擬機(jī)且相互之間互不影響。

分布式存儲(chǔ)環(huán)境采用冗余網(wǎng)絡(luò)架構(gòu)和 N+M 糾刪碼保護(hù)機(jī)制充分保證系統(tǒng)無單點(diǎn)故障，確保數(shù)據(jù)存儲(chǔ)的長期安全；在不同存儲(chǔ)節(jié)點(diǎn)間使用條帶化技術(shù)，將 I/O 操作均勻分散到多個(gè)節(jié)點(diǎn)，為應(yīng)用訪問提供多個(gè)并行傳輸通道，從而有效提高了系統(tǒng)的讀寫帶寬和每秒的輸入輸出量（input/output per second，IOPS）。

圖 5 大數(shù)據(jù)處理系統(tǒng)硬件基礎(chǔ)架構(gòu)

3.1.3 任務(wù)類型感知的統(tǒng)一資源調(diào)度系統(tǒng)

在傳統(tǒng)的空間科學(xué)衛(wèi)星數(shù)據(jù)地面處理系統(tǒng)中，資源調(diào)度系統(tǒng)負(fù)責(zé)將數(shù)據(jù)處理子節(jié)點(diǎn)的CPU、內(nèi)存、硬盤、I/O 等資源抽象成資源池，維護(hù)管理資源池并將資源分配給相應(yīng)的數(shù)據(jù)處理任務(wù)，這種架構(gòu)在空間科學(xué)大數(shù)據(jù)場景下面對多類型的衛(wèi)星數(shù)據(jù)處理任務(wù)無法做出相應(yīng)的處理，無法最大化發(fā)揮資源節(jié)點(diǎn)的性能，而且會(huì)影響數(shù)據(jù)處理的時(shí)效性。

本文提出一種任務(wù)類型感知的資源調(diào)度系統(tǒng)，實(shí)現(xiàn)對上層數(shù)據(jù)處理任務(wù)的統(tǒng)一編排與管理，根據(jù)科學(xué)衛(wèi)星的數(shù)據(jù)處理任務(wù)需求場景，提供統(tǒng)一可配置的資源管理和分配策略，支持根據(jù)衛(wèi)星、數(shù)據(jù)類型進(jìn)行優(yōu)先級的設(shè)定，支持預(yù)約類型和實(shí)時(shí)類型的計(jì)算任務(wù)請求，提供松耦合和靈活的計(jì)算任務(wù)與資源的關(guān)聯(lián)關(guān)系，支持底層資源池的動(dòng)態(tài)擴(kuò)展，真正依據(jù)計(jì)算資源的特點(diǎn)做到物盡其用。任務(wù)類型感知的資源調(diào)度系統(tǒng)的架構(gòu)如圖 6 所示，主要分為資源預(yù)約與請求接口、任務(wù)隊(duì)列、任務(wù)與資源的智能關(guān)聯(lián)匹配以及資源節(jié)點(diǎn)管理 4 個(gè)部分。

圖 6 任務(wù)類型感知的資源調(diào)度系統(tǒng)架構(gòu)

資源預(yù)約與請求接口主要負(fù)責(zé)向上為統(tǒng)一的任務(wù)調(diào)度引擎提供資源調(diào)度接口，對申請的任務(wù)類型進(jìn)行解析并將任務(wù)發(fā)送至不同的任務(wù)隊(duì)列中，任務(wù)在隊(duì)列中等待匹配合適的計(jì)算資源。

任務(wù)隊(duì)列采用消息隊(duì)列的方式進(jìn)行任務(wù)請求的解析與保存，除了配置傳統(tǒng)的計(jì)算任務(wù)隊(duì)列，還專門設(shè)計(jì)了用于保存資源預(yù)約的任務(wù)隊(duì)列，從而提升重要任務(wù)響應(yīng)的及時(shí)性。

資源調(diào)度算法處理流程如下。

/*初始化*/

AppointmentQueue<>,IOTaskQueue<>,DataTaskQueue<>,CPUTaskQueue<> ,

Resources <Nodes>

輸入：數(shù)據(jù)處理任務(wù) NewTaskOrder

/*接收并解析數(shù)據(jù)處理任務(wù)*/

taskType = NewTaskOrder.type();

if (taskType == appointment) then /*預(yù)約任務(wù)*/

InsertAppintQueue(NewTaskOrder) 

else if(taskType == IOtype) then

InsertIOQueue(NewTaskOrder)

else if (taskType == DataType) then 

InsertDataQueue(NewTaskOrder)

else 

InsertCPUQueue(NewTaskOrder)

end if

/**預(yù)約資源**/

MakeAppoint(AppointmentQueue<>, Resources<>)

/*更新資源狀態(tài)，并獲取可用計(jì)算資源*/

AvailableResource<> = Update(Resources<>)

/**分配資源**/

for i=0 to i< AvailableResource.size()-1 do:

node = AvailableResource (i); /*獲取可用資源*/

/*將各種類型的資源匹配到對應(yīng)的任務(wù)隊(duì)列上 */

if (node.type == IOtype && ! IOTaskQueue.empty())

 node.execute(IOTaskQueue.getTask())

if(node.type == DataType && ! DataTaskQueue.empty())

 node.execute(DataTaskQueue.getTask())

if (node.type == CPUType && !CPUTaskQueue.empty())

 node.executre(CPUTaskQueue.getTask())

else

/*如果各類任務(wù)和資源沒有完全匹配，則將可用資源分配給其他類型的任務(wù)*/

 unmatchTask = FindWaitingTask(IOTaskQueue, CPUTaskQueue,DataTaskQueue)

 node.execute(unmatchTask)

end for

基于高性能服務(wù)器集群和超融合計(jì)算環(huán)境建設(shè)的可擴(kuò)展高性能地面數(shù)據(jù)處理系統(tǒng)成功地支持了中國科學(xué)院空間科學(xué)先導(dǎo)專項(xiàng)多顆空間科學(xué)衛(wèi)星的海量原始數(shù)據(jù)的集中處理，系統(tǒng)的數(shù)據(jù)處理效率能夠滿足各科學(xué)工程的性能指標(biāo)要求。作為空間科學(xué)衛(wèi)星地面共性基礎(chǔ)設(shè)施，該系統(tǒng)支持動(dòng)態(tài)擴(kuò)展，可基于大數(shù)據(jù)共性基礎(chǔ)平臺(tái)滿足后續(xù)空間科學(xué)衛(wèi)星的數(shù)據(jù)產(chǎn)品處理及產(chǎn)品組織需求。

目前該系統(tǒng)通過 Apache+Tomcat 搭建系統(tǒng)整體業(yè)務(wù)監(jiān)管界面，通過 Kafka消息隊(duì)列實(shí)現(xiàn)處理類、數(shù)據(jù)管理類以及數(shù)據(jù)服務(wù)類的狀態(tài)消息實(shí)時(shí)上報(bào)，對系統(tǒng)內(nèi)開展的各類數(shù)據(jù)處理、數(shù)據(jù)管理和分發(fā)等活動(dòng)進(jìn)行實(shí)時(shí)監(jiān)視，依據(jù)輸入數(shù)據(jù)為運(yùn)行流程設(shè)計(jì)唯一標(biāo)識(shí)符，從而可以對從輸入開始一直到生產(chǎn)各類數(shù)據(jù)產(chǎn)品并對外提供服務(wù)的整個(gè)過程進(jìn)行跟蹤，如圖 7 所示。

圖 7 系統(tǒng)綜合業(yè)務(wù)展示

該系統(tǒng)通過標(biāo)準(zhǔn)的任務(wù)訂單接口和任務(wù)調(diào)度調(diào)度接口，集成了多顆科學(xué)衛(wèi)星的數(shù)據(jù)處理與產(chǎn)品生產(chǎn)、數(shù)據(jù)質(zhì)量分析與評估等幾十類算法模塊，采用標(biāo)準(zhǔn) WebService 接口實(shí)現(xiàn)了對外接口服務(wù)，任務(wù)調(diào)度時(shí)延小于 1 s。多星多任務(wù)調(diào)度平臺(tái)如圖 8 所示。

圖 8 多星多任務(wù)調(diào)度平臺(tái)

目前系統(tǒng)運(yùn)行穩(wěn)定，支撐著 5 顆在軌科學(xué)衛(wèi)星的數(shù)據(jù)處理。系統(tǒng)每日處理的數(shù)據(jù)量約103 GB，輸出的數(shù)據(jù)產(chǎn)品數(shù)量約 364 GB。系統(tǒng)將每次數(shù)傳下行處理的數(shù)據(jù)產(chǎn)品自動(dòng)準(zhǔn)實(shí)時(shí)地發(fā)送至各衛(wèi)星科學(xué)應(yīng)用系統(tǒng)，有效地支持了 HXMT 衛(wèi)星、暗物質(zhì)粒子探測衛(wèi)星以及墨子號(hào)量子科學(xué)實(shí)驗(yàn)衛(wèi)星科學(xué)成果的發(fā)現(xiàn)[9-13]。

4 結(jié)束語

面對空間科學(xué)后續(xù)衛(wèi)星探測數(shù)據(jù)量大幅增加，數(shù)據(jù)處理過程更加復(fù)雜，處理耗時(shí)增加與天文警報(bào)數(shù)據(jù)超高時(shí)效性要求的趨勢，在系統(tǒng)自動(dòng)化的基礎(chǔ)上，有待進(jìn)一步研究智能化技術(shù)和流式數(shù)據(jù)處理技術(shù)，以大幅改善系統(tǒng)的多任務(wù)并行處理能力。針對多類型任務(wù)調(diào)度引擎的兼容性和可擴(kuò)展性，需進(jìn)一步優(yōu)化資源統(tǒng)一調(diào)度接口，采用輕量化容器技術(shù)增強(qiáng)代碼遷移的能力。未來還將開展共性數(shù)據(jù)處理算法的抽象工作，增加共性數(shù)據(jù)處理工具集，降低擴(kuò)展新衛(wèi)星任務(wù)帶來的成本。