我國電子政務建設圍繞“兩網(wǎng)一站四庫十二金”展開,“金財云”建設緊緊圍繞我國電子政務建設十二金中的“金財工程”建設,為金財工程賦予云計算、大數(shù)據(jù)、人工智能等。 4月份在個人公眾號分享了關于金財工程數(shù)據(jù)中臺建設思路,今天在數(shù)據(jù)工匠俱樂部借此機會分享金財工程的大數(shù)據(jù)技術方案落地篇,歡迎大家相互交流學習。 我國電子政務建設圍繞“兩網(wǎng)一站四庫十二金”展開,金財工程是“十二金”信息化系統(tǒng)建設的重點之一,金財工程是財政工作信息化和財政管理現(xiàn)代化的必然要求。它的建立與實施將管理超過全國GDP20%的資金流動,對于加快社會主義市場經(jīng)濟體制的建立和促進國民經(jīng)濟管理的現(xiàn)代化,規(guī)范財政預算管理,提高國庫資金使用效率,增強財政決策的科學性和財政工作的透明度,加強廉政建設實現(xiàn)依法理財等都具有十分重要的意義。 財政制度在中國體現(xiàn)在政府與市場、政府與社會、中央與地方關系,涉及政治、經(jīng)濟、文化、社會等各個方面。建立現(xiàn)代財政制度,是黨的十八屆三中全會立足全局、面向未來提出的重要戰(zhàn)略思想,是黨中央把握現(xiàn)代國家發(fā)展規(guī)律做出的重大決策部署,新一代的財政制度建立,需要與大數(shù)據(jù)、人工智能、云計算等先進技術作為支撐。 財政部門是中國政府的大管家,金財工程的信息化建設水平高低直接影響著中國政府宏觀調(diào)控的落地成果,但是財政行業(yè)的信息化建設,屬于典型的煙囪式系統(tǒng)。近幾年,財政行業(yè)提出了通過一體化應用平臺實現(xiàn)財政體制改革,網(wǎng)上一體化應用平臺方案理論研究到處可搜,但是各地政府的財政部門還沒幾個真正落地,顯然信息化推動改革不是一件易事。以省級財政信息化建設為例,現(xiàn)狀如下: 1)財政一體化平臺快速落地:隨著財政改革的深入,金財工程建設的不斷完善,目前各省全面啟動財政應用一體化平臺建設,隨著一體化平臺的深入應用,將會徹底改變財政業(yè)務數(shù)據(jù)的管理方式,財政數(shù)據(jù)由分散式管理向集中式管理轉(zhuǎn)變。 2)金財工程在大數(shù)據(jù)時代面領的困境:歷經(jīng)各級財政多年的數(shù)據(jù)積累,當前各級財政部門已經(jīng)沉淀了大量的信息資源,這就是常說的“大數(shù)據(jù)”,這些資源無疑是各級財政亟待開發(fā)的“寶藏”。大數(shù)據(jù)時代的來臨對財政部門而言都是一次難得的歷史機遇和挑戰(zhàn),財政部門只能迎頭趕上,用科學的數(shù)據(jù)挖掘方法深挖各類信息,為中國轉(zhuǎn)型發(fā)展提供不竭動力。 3)財政相關部門對數(shù)據(jù)價值認識不高:我國財政部門對數(shù)據(jù)挖掘的認識還不夠深刻。以中央財政為例,只有少數(shù)司局在運用宏觀計量經(jīng)濟模型來進行宏觀經(jīng)濟運行分析并對財政收支進行預測分析財政數(shù)據(jù)最集中的國庫司也是近年來才開始運用數(shù)據(jù)挖掘,而且還處于起步階段,因此,對一些挖掘技術的掌握運用以及數(shù)據(jù)倉庫的構建都還有相當多得工作要去做。多數(shù)財政部門的數(shù)據(jù)分析仍然主要以報表等傳統(tǒng)的工具為主,相當于數(shù)據(jù)的初次利用,是一種“平面化”的分析。而數(shù)據(jù)挖掘的主要方式既包括報表統(tǒng)計,也包括數(shù)據(jù)建模分析和潛在的知識挖掘,相當于數(shù)據(jù)的二次利用或多次利用,是一種“立方式”的分析。 綜上所述,金財工程融入云計算、大數(shù)據(jù)、人工智能技術,需要從數(shù)據(jù)、部門、廠商三個維度進行分析,具體如下: 為進一步貫徹落實財政部全國財政信息化“三化五統(tǒng)一”要求,通過云計算、大數(shù)據(jù)、人工智能等技術建立“金財云”,構建財政管理新模式;以大數(shù)據(jù)為抓手,遵循頂層設計、承上啟下的原則,以網(wǎng)絡信息安全及統(tǒng)建統(tǒng)管為保障。依據(jù)財政部編制的《財政業(yè)務基礎規(guī)范3.0》和財政業(yè)務系統(tǒng)一體化為著力點,在平臺之上構建財政數(shù)據(jù)資源池。著力實現(xiàn)管理流程一體化、數(shù)據(jù)標準一體化、信息資源一體化、部省市縣一體化。并以此為基礎推動建立業(yè)務規(guī)范、決策科學、運行高效的新型財政管理與服務模式。 1)盤點數(shù)據(jù)資產(chǎn),構建財政數(shù)據(jù)一張圖 以元數(shù)據(jù)智能驅(qū)動,通過數(shù)據(jù)探查財政內(nèi)部數(shù)據(jù),定義外部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù),針對三類數(shù)據(jù)資源形成數(shù)據(jù)資源一張圖。 2)落地數(shù)據(jù)標準,構建本地數(shù)據(jù)資源標準 結合盤點數(shù)據(jù)資源工作,依據(jù)財政部編制的《財政業(yè)務基礎規(guī)范3.0》為依據(jù),落地省級數(shù)據(jù)資源庫標準池。向下提供省級標準規(guī)范,向上實現(xiàn)與部標進行比對,橫向提供政務資源目錄。 省級財政預算管理數(shù)據(jù)資產(chǎn)目錄樣列圖 3)異構數(shù)據(jù)匯集,匯聚數(shù)據(jù)資產(chǎn)池 通過網(wǎng)絡爬蟲、數(shù)據(jù)交換、數(shù)據(jù)集成等技術手段實現(xiàn)內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)的收集,針對內(nèi)部數(shù)據(jù)中的停用數(shù)據(jù)和生產(chǎn)數(shù)據(jù)用不同的存儲區(qū)域進行分類存儲。 4)全域數(shù)據(jù)處理,建設財政數(shù)據(jù)資源庫 針對匯集的數(shù)據(jù)資產(chǎn)池,結合財政部數(shù)據(jù)標準規(guī)范和國際政務資源目錄要求以及財政決策分析需求,將財政資產(chǎn)庫分為原始庫、基礎庫、主題庫,在原始庫中按照停用數(shù)據(jù)和生產(chǎn)數(shù)據(jù)分別存儲到不同區(qū)域,基礎庫按照財政全業(yè)務數(shù)據(jù)通過領域模型、邏輯模型、物理模型的過程構建財政基礎業(yè)務主題,在主題庫依據(jù)領導駕駛艙、財政收支、反不正當支付、脫貧攻堅等應用主題實現(xiàn)維度建模。 5)提升數(shù)據(jù)質(zhì)量,實現(xiàn)資源庫旁路治理 針對數(shù)據(jù)資產(chǎn)池實現(xiàn),按照原始庫、基礎庫、主題庫進行數(shù)據(jù)質(zhì)量6大維度(及時性、完整性、準確性、一致性、規(guī)范性、唯一性)進行數(shù)據(jù)質(zhì)量評估。在原始庫主要以完整性、及時性等基礎校驗;在基礎庫主要以數(shù)據(jù)標準進行規(guī)范性、唯一性數(shù)據(jù)質(zhì)量評估;在主題庫主要以一致性、準確性進行數(shù)據(jù)質(zhì)量評估。針對數(shù)據(jù)處理過程的數(shù)據(jù)處理任務,實現(xiàn)數(shù)據(jù)對賬評估、鏈路完整性等進行質(zhì)量評估。
針對數(shù)據(jù)訪問、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)管理實現(xiàn)三權分立;構建字段級別的數(shù)據(jù)超市,實現(xiàn)數(shù)據(jù)結合資源目錄進行動態(tài)發(fā)布。 在“金財云”之上構建的大數(shù)據(jù)服務管控平臺分為數(shù)據(jù)接入、數(shù)據(jù)資源庫、數(shù)據(jù)治理平臺、財政內(nèi)網(wǎng)數(shù)據(jù)共享服務門戶等幾部分組成。 1)數(shù)據(jù)接入 針對財政業(yè)務的內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)以及互聯(lián)網(wǎng)數(shù)據(jù)結合電子政務外網(wǎng)、互聯(lián)網(wǎng)、財政內(nèi)網(wǎng)等網(wǎng)絡環(huán)境現(xiàn)狀,需制定多種數(shù)據(jù)接入方式,具體如下圖所示:
采用中間庫方式、直連方式、數(shù)據(jù)文件、數(shù)據(jù)備份/恢復等方式。
采用數(shù)據(jù)交換平臺、人工刻盤等方式。
采用網(wǎng)絡爬蟲方式后,通過數(shù)據(jù)交換平臺方式。 2)數(shù)據(jù)資源庫 財政內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)分析主要通過從預算、指標、計劃、支付、稅收、非稅、決算等各項核心業(yè)務系統(tǒng)中提取的財政業(yè)務應用數(shù)據(jù),進行全財政視角展現(xiàn),實現(xiàn)財政數(shù)據(jù)的統(tǒng)計分析,支持多維度、多角度定制分析,為財政預算編制、執(zhí)行和監(jiān)督提供依據(jù),提高管理和決策水平。財政行業(yè)資源庫數(shù)據(jù)分為結構化數(shù)據(jù)和非結構數(shù)據(jù);非結構化數(shù)據(jù)主要依據(jù)大數(shù)據(jù)平臺存儲表單、票據(jù)、憑證、文書等內(nèi)容,結構化數(shù)據(jù)主要依據(jù)MPP存儲預算編制、預算執(zhí)行、國庫支付等業(yè)務系統(tǒng)數(shù)據(jù),通過財政標準、領導駕駛艙、政務信息資源目錄針對數(shù)據(jù)資源庫劃分為原始庫、基礎庫、主題庫三層資源庫,資源庫建設思路按照自上而下的維度建模方式。
3)數(shù)據(jù)治理平臺 數(shù)據(jù)治理平臺的功能包括元數(shù)據(jù)管理、數(shù)據(jù)標準、數(shù)據(jù)集成、數(shù)據(jù)預處理、數(shù)據(jù)倉庫管理、數(shù)據(jù)模型管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務管理等功能。 4)財政內(nèi)網(wǎng)數(shù)據(jù)共享服務門戶 主要針對財政業(yè)務部門提供數(shù)據(jù)標準查看、數(shù)據(jù)資源目錄瀏覽、申請、數(shù)據(jù)服務獲取等功能。 當前已經(jīng)完成34個系統(tǒng)的信息梳理,依據(jù)輸入、輸出的信息資源梳理出11個核心業(yè)務系統(tǒng)比較重要,具體如下: 1)完成原業(yè)務系統(tǒng)接入10多萬張表接入,內(nèi)部數(shù)據(jù)接入上億條數(shù)據(jù),政務數(shù)據(jù)完成十幾萬數(shù)據(jù)對外共享。 2)標準落地情況:形成省級本地數(shù)據(jù)標準,編制出接近萬個數(shù)據(jù)元,針對萬余數(shù)據(jù)元進行編目,形成部門類、基礎類、主題類三大資源目錄體系。 3)在主題庫層面:構建了單位畫像、專項資金預警、領導駕駛艙等應用主題分析。 關于財政大數(shù)據(jù)治理方案落地呼吁 財政信息化水平本身就不高,客戶數(shù)據(jù)認知度也不高;我們需要循序漸進,著重解決1~2個數(shù)據(jù)應用主題問題,避免吃一口大胖子,建設成果反而不理想?!敖鹭敼こ獭睌?shù)據(jù)中心建設屬于起步階段,很多地方都沒經(jīng)驗,摸著石頭過河,希望有更多的企業(yè)和專家為我國財政信息化建設添磚加瓦! 劉俊良,某公司大數(shù)據(jù)產(chǎn)品部技術委員會主任,負責公司整體產(chǎn)品規(guī)劃,帶領數(shù)據(jù)治理產(chǎn)品連續(xù)兩年(17/18)在數(shù)據(jù)管理領域大數(shù)據(jù)企業(yè)排行榜排名第一。中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟大數(shù)據(jù)專家。參與工信部信通院組織編寫的《數(shù)據(jù)資產(chǎn)管理是白皮書》和工信部信標委組織編寫的《大數(shù)據(jù)標準白皮書》。參與多個國內(nèi)大數(shù)據(jù)基礎平臺的廠商功能和性能測試。從事10年左右工作經(jīng)驗,在公安、工商、檢察院、法院、高等院校等領域主導多個上億數(shù)據(jù)項目的落地。 聯(lián)系我們 |
|
來自: weiwarm > 《大數(shù)據(jù)云》