https://mp.weixin.qq.com/s/KzCYA0OW-d2FGFVhLHw1fA

在各種數(shù)字化的影響下，將企業(yè)環(huán)境中的各種元數(shù)據(jù)整合利用至關(guān)重要。對于企業(yè)來說，選擇適合自己的元數(shù)據(jù)管理工具將能最大化發(fā)揮元數(shù)據(jù)的作用，以協(xié)助企業(yè)完成在數(shù)據(jù)方面的戰(zhàn)略目標(biāo)。

企業(yè)中不同角色對元數(shù)據(jù)工具的期望可能有所不同，但這些期望基本都可以映射到元數(shù)據(jù)管理工具的十大能力上，當(dāng)然這些能力背后少不了關(guān)鍵技術(shù)的支撐。

本文分為三部分，在第一部分，我們會先根據(jù)企業(yè)中的不同角色，列出不同角色對元數(shù)據(jù)管理的期望；然后在第二部分，總結(jié)在理想情況下元數(shù)據(jù)管理工具需要具備的十大能力，并將這些能力與不同的角色做關(guān)聯(lián)，以便不同企業(yè)可以根據(jù)自身情況選擇合適的元數(shù)據(jù)管理工具；最后在第三部分，將給出幾種現(xiàn)階段實(shí)現(xiàn)元數(shù)據(jù)管理的關(guān)鍵技術(shù)。

為了站在不同角色的角度回答這個問題，我們先把企業(yè)中與元數(shù)據(jù)管理項(xiàng)目相關(guān)的幾種角色列一列，這里暫且將這些角色分為企業(yè)高管、數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析人員、數(shù)據(jù)管理人員、運(yùn)維人員、其他業(yè)務(wù)用戶幾種。

圖 1：與元數(shù)據(jù)管理相關(guān)的角色

企業(yè)高管：在數(shù)據(jù)越來越重要的形勢下，高管們比較關(guān)心的是企業(yè)的整個數(shù)據(jù)全貌以及數(shù)據(jù)在全企業(yè)中的使用狀況（或者可以說是更注重數(shù)據(jù)資產(chǎn)與應(yīng)用層面），但是沒有一個人能直接告訴領(lǐng)導(dǎo)企業(yè)中的數(shù)據(jù)是什么樣，具體的使用流通情況是什么，有效的元數(shù)據(jù)管理能很好地回答企業(yè)高管的這些問題。

數(shù)據(jù)開發(fā)人員：對于數(shù)據(jù)開發(fā)來說，最常見的問題就是大量的重復(fù)工作：明明已經(jīng)有了一模一樣的接口或者腳本，但是因?yàn)槭莿e人寫的，沒有統(tǒng)一標(biāo)識并管理起來，所以根本就找不到，即使找到了可能也會因?yàn)槿鄙傧嚓P(guān)的解釋說明，根本無法重復(fù)利用，降低數(shù)據(jù)開發(fā)效率的同時也造成了大量的冗余。元數(shù)據(jù)管理能方便數(shù)據(jù)開發(fā)人員查找想重復(fù)利用的信息，而解釋說明恰好可以通過業(yè)務(wù)元數(shù)據(jù)管理來實(shí)現(xiàn)。

數(shù)據(jù)分析人員：數(shù)據(jù)分析人員通常需要通過較高級的數(shù)據(jù)統(tǒng)計(jì)分析實(shí)現(xiàn)公司與戰(zhàn)略決策、業(yè)務(wù)或考核相關(guān)的目標(biāo)。對于他們來說，錯綜復(fù)雜的數(shù)據(jù)關(guān)系、參差不齊的數(shù)據(jù)質(zhì)量和業(yè)務(wù)元數(shù)據(jù)的缺失是主要問題。元數(shù)據(jù)管理降低了這些信息的獲取門檻，也為數(shù)據(jù)質(zhì)量的問題追溯提供了支持。

數(shù)據(jù)管理人員：數(shù)據(jù)管理人員通常需要負(fù)責(zé)數(shù)據(jù)從設(shè)計(jì)、測試到部署交付的全生命周期管理。對于他們來說，通常需要管理各種版本的數(shù)據(jù)信息，并管理企業(yè)數(shù)據(jù)的生命周期，如何控制各狀態(tài)下數(shù)據(jù)的協(xié)調(diào)一致和及時判斷數(shù)據(jù)處于什么周期需要做什么操作是目前急需解決的問題。這可以通過管理企業(yè)元數(shù)據(jù)來實(shí)現(xiàn)。

運(yùn)維人員：對于運(yùn)維人員來說，需要時刻保證系統(tǒng)的穩(wěn)定性，尤其是當(dāng)企業(yè)模型發(fā)生變更時，要不斷判斷變更帶來的影響，顯然人工判斷的方式在準(zhǔn)確性和實(shí)時性上都很難保證，而且對運(yùn)維人員的業(yè)務(wù)能力要求較高，很大程度上增加了系統(tǒng)風(fēng)險。通過元數(shù)據(jù)管理，當(dāng)系統(tǒng)變更時，可以根據(jù)已經(jīng)獲取到的系統(tǒng)、表等對象間關(guān)系自動分析出變更帶來的影響，用自動化的方式降低維護(hù)成本，提升用戶體驗(yàn)。

其他業(yè)務(wù)人員：由于業(yè)務(wù)人員對業(yè)務(wù)規(guī)則、業(yè)務(wù)流程比較熟悉，通常不需要對技術(shù)細(xì)節(jié)有很深入的了解，技術(shù)門檻往往導(dǎo)致業(yè)務(wù)人員獲取和理解數(shù)據(jù)難，因?yàn)椴涣私鈹?shù)據(jù)存儲情況，也很難技術(shù)溝通業(yè)務(wù)需求，往往最終難到手的數(shù)據(jù)也不是自己想要的，難以匹配業(yè)務(wù)的快速發(fā)展。

通過以上可以看出，不同用戶對元數(shù)據(jù)管理工具寄予著不同的期望（見圖2）

圖 2 ：不同用戶對元數(shù)據(jù)管理工具寄予著不同的期望

企業(yè)開展元數(shù)據(jù)管理項(xiàng)目可能需要解決的是其中一類用戶或者其中幾類用戶的問題，我們先列出一些元數(shù)據(jù)管理工具的基本能力，然后再將這些能力與上文中的期望對應(yīng)起來，企業(yè)可以通過參考二者之間的對應(yīng)關(guān)系，來指向性地選擇適合自己的元數(shù)據(jù)管理工具。

通過大量元數(shù)據(jù)項(xiàng)目的實(shí)踐，我總結(jié)出了在理想情況下，元數(shù)據(jù)管理工具需要具備的十種能力，如下：

圖 3：元數(shù)據(jù)管理工具的十種能力

• 元數(shù)據(jù)采集能力

從錯綜復(fù)雜的企業(yè)環(huán)境中自動實(shí)時解析和采集各種元數(shù)據(jù)的能力，為應(yīng)對各種數(shù)據(jù)環(huán)境，這個環(huán)節(jié)通常需要使用各種技術(shù)和語法來支持大數(shù)據(jù)平臺、關(guān)系型數(shù)據(jù)庫、第三方工具、存儲過程、腳本、文本文件、表格文件的自動化采集。

• 元數(shù)據(jù)存儲能力

將采集過來的元數(shù)據(jù)進(jìn)行統(tǒng)一存儲的能力，為支持各種元數(shù)據(jù)以及元數(shù)據(jù)之間關(guān)系的存儲，元數(shù)據(jù)存儲需要靈活可擴(kuò)展的架構(gòu)支撐，另外，能夠?qū)崟r更新存儲也是很重要的一點(diǎn)。

• 元數(shù)據(jù)查找能力

提供統(tǒng)一的端口對元數(shù)據(jù)進(jìn)行查找的能力，完善的元數(shù)據(jù)管理工具應(yīng)該能支持按照企業(yè)的各種分類方法來對元數(shù)據(jù)進(jìn)行查找（有一部分分類方式蘊(yùn)含在元數(shù)據(jù)本身中，需要通過對元數(shù)據(jù)進(jìn)行分析之后獲得）。比如你可能會按照系統(tǒng)、表、指標(biāo)、接口等不同維度查找信息，甚至?xí)鶕?jù)自己的查找習(xí)慣新建一個完全不同的類別。

• 血緣分析/關(guān)系分析能力 

分析數(shù)據(jù)的來源和數(shù)據(jù)的流向，揭示數(shù)據(jù)的上下游關(guān)系，在元數(shù)據(jù)管理工具中分析、描述并可視化其中的細(xì)節(jié)，方便用戶對關(guān)鍵信息進(jìn)行跟蹤。完善的血緣分析需要是橫向（當(dāng)前）和縱向（歷史）雙向可用的，以方便對同一時期不同對象的分析和不同時期同一對象的變化。

• 基于角色的訪問控制和分層

元數(shù)據(jù)的增刪改等權(quán)限的控制是元數(shù)據(jù)管理工具中需要特別注意的地方，工具中應(yīng)該支持訪問權(quán)限的控制。比如，數(shù)據(jù)管理員具有所有權(quán)限，開發(fā)人員可能更關(guān)注開發(fā)環(huán)境、測試環(huán)境元數(shù)據(jù)，而企業(yè)管理者可能只關(guān)注生產(chǎn)環(huán)境的元數(shù)據(jù)情況，總經(jīng)理級別的用戶可以訪問企業(yè)多種環(huán)境下的元數(shù)據(jù)，而部門負(fù)責(zé)人可能只關(guān)注與本部門相關(guān)的元數(shù)據(jù)。

• 業(yè)務(wù)元數(shù)據(jù)管理能力

采集企業(yè)環(huán)境中的業(yè)務(wù)元數(shù)據(jù)，并完成業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的映射，為元數(shù)據(jù)賦予業(yè)務(wù)屬性，這也是發(fā)揮元數(shù)據(jù)管理工具業(yè)務(wù)價值的一個關(guān)鍵。

圖 4：技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的對應(yīng)

• 元數(shù)據(jù)變更控制能力

當(dāng)元數(shù)據(jù)需要變更時，提供變更審核能力，明確元數(shù)據(jù)版本，保存元數(shù)據(jù)的歷史狀態(tài)，在發(fā)生任何問題時可以自動恢復(fù)到之前的版本。在某個元數(shù)據(jù)項(xiàng)發(fā)生變更時，可能還需要對該次變更將要產(chǎn)生的影響進(jìn)行分析和評估。

• 元數(shù)據(jù)對比分析能力

對不同環(huán)境中的元數(shù)據(jù)進(jìn)行對比分析，分析其中的異同，必要時還能根據(jù)分析結(jié)果產(chǎn)出相應(yīng)的分析報告。

• 數(shù)據(jù)生命周期管理能力

在理想狀態(tài)下，元數(shù)據(jù)管理工具應(yīng)該保留數(shù)據(jù)從創(chuàng)建、存儲，到過時被刪除/備份等各種狀態(tài)下的元數(shù)據(jù)，從而管理數(shù)據(jù)在整個生命周期中的流動。作為一項(xiàng)規(guī)則，較新的數(shù)據(jù)和那些很可能被更加頻繁訪問的數(shù)據(jù)，應(yīng)該存儲在容易被訪問的位置，而那些不是很重要的數(shù)據(jù)則可以備份存儲在比較便宜的，稍微慢些的媒介上。

圖 5：數(shù)據(jù)生命周期

• 與其他系統(tǒng)的集成能力

要想讓元數(shù)據(jù)管理系統(tǒng)發(fā)揮業(yè)務(wù)價值，還有非常重要的一點(diǎn)就是元數(shù)據(jù)管理工具與其他系統(tǒng)的集成能力。

這些能力與剛開始提出的幾種需求之間的對應(yīng)關(guān)系整理如下（鑒于元數(shù)據(jù)采集與元數(shù)據(jù)存儲是幾乎每種需求都需要的基本能力，所以我把這兩項(xiàng)單獨(dú)拿出來不參與對應(yīng)），企業(yè)可根據(jù)對應(yīng)關(guān)系來選擇元數(shù)據(jù)管理工具：

圖 6：角色與十大能力的對應(yīng)關(guān)系

一般來說，元數(shù)據(jù)管理項(xiàng)目需要用到眾多技術(shù)，在這里講四種：高度靈活可擴(kuò)展的架構(gòu)、角色訪問控制和分層、業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)對應(yīng)、與其他系統(tǒng)的集成。

圖 7：元數(shù)據(jù)管理的關(guān)鍵技術(shù)

• 高度靈活可擴(kuò)展的架構(gòu)

企業(yè)數(shù)據(jù)環(huán)境中的數(shù)據(jù)雜亂，形態(tài)多樣，標(biāo)準(zhǔn)不一，若要實(shí)現(xiàn)所有元數(shù)據(jù)的有效采集或者自動化采集和存儲，必須有高度靈活可擴(kuò)展的架構(gòu)支撐，也意味著元數(shù)據(jù)的架構(gòu)要能和企業(yè)的各種模型進(jìn)行“交流”，這在之前王軒的文章《大數(shù)據(jù)治理技術(shù)核心，可擴(kuò)展的元數(shù)據(jù)架構(gòu)設(shè)計(jì)》中提及到了具體方法，在這里不再多說。

• 角色訪問控制和分層

如上文所述，企業(yè)元數(shù)據(jù)管理涉及到很多不同的人員，優(yōu)秀的元數(shù)據(jù)管理工具應(yīng)該做好角色訪問控制，具體實(shí)現(xiàn)方法可以歸結(jié)為兩種：

1、在平臺匯總建立角色分層機(jī)制/角色組，將企業(yè)中的不同角色按照具體需求分類到不同的角色組中，對不同角色組展示不同的功能。

2、在工具內(nèi)部建立角色與功能之間的映射，并且支持根據(jù)企業(yè)情況進(jìn)行靈活配置（畢竟各企業(yè)的角色和所對應(yīng)的功能不盡相同），根據(jù)映射對不同角色展示不同的功能。

• 業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的對應(yīng)

這是企業(yè)從數(shù)據(jù)管理向知識管理轉(zhuǎn)變的關(guān)鍵，關(guān)于業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的對應(yīng)，可以參考我們之前寫過的文章。另外我認(rèn)為除了領(lǐng)域本體構(gòu)建，編織模型（Weaving Model，V. Stefanov提出）未來也可能會成為對應(yīng)二者之間關(guān)系的一種技術(shù)，這種方式通過編織模型來存儲和管理企業(yè)不同模型之間的關(guān)系，例如，通過建立星型模型/雪花型模型與業(yè)務(wù)流程模型、企業(yè)組織架構(gòu)等之間的關(guān)系，可以自動獲取到數(shù)據(jù)所對應(yīng)的業(yè)務(wù)信息和管理者信息等。 

• 與其他系統(tǒng)的集成

隨著各種數(shù)據(jù)政策的出臺，元數(shù)據(jù)成為企業(yè)各種流程中不可或缺的重要部分，人們對元數(shù)據(jù)驅(qū)動的呼聲越來越高，而要實(shí)現(xiàn)元數(shù)據(jù)驅(qū)動，除了元數(shù)據(jù)分類和模型的標(biāo)準(zhǔn)化，元數(shù)據(jù)管理工具是否與企業(yè)的其他系統(tǒng)（比如，CRM、ERP、SCM、OA等系統(tǒng)，還有同與數(shù)據(jù)管理相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)、數(shù)據(jù)質(zhì)量系統(tǒng)）集成，為其他系統(tǒng)提供元數(shù)據(jù)服務(wù)，是主要的關(guān)鍵點(diǎn)。一種方法是向企業(yè)中的不同角色、不同用戶、不同系統(tǒng)提供可以靈活配置的接口，實(shí)現(xiàn)全企業(yè)的而高效協(xié)作；另一種方法是將元數(shù)據(jù)管理工具直接集成到企業(yè)的portal中，在企業(yè)其他信息系統(tǒng)中保留元數(shù)據(jù)存儲庫的入口。

圖 8：元數(shù)據(jù)管理的需求-能力-技術(shù)模型

不同的企業(yè)對元數(shù)據(jù)管理有不同的需求，企業(yè)要選擇最適合自身情況的元數(shù)據(jù)管理工具。本文給出了基于角色的元數(shù)據(jù)管理需求，以及這些需求與元數(shù)據(jù)管理十大能力之間的映射關(guān)系，這種映射關(guān)系可以幫助企業(yè)選擇具有特定能力的元數(shù)據(jù)管理工具，在最后，對幾種支撐這些能力關(guān)鍵技術(shù)做出了解釋。

參考文獻(xiàn)：

1.王軒. 大數(shù)據(jù)治理技術(shù)核心，可擴(kuò)展的元數(shù)據(jù)架構(gòu)設(shè)計(jì)[EB/OL]. http://www./BigData/2016-07/12/content_5076844.htm.

2.V Stefanov. Explaining Data Warehouse Data to Business Users.[EB/OL]. http://aisel./cgi/viewcontent.cgi?article=1070&context=ecis2007.

3.KM, Hüner. Collaborative management of business metadata[EB/OL]. https://www./science/article/pii/S0268401210001817.

關(guān)于作者：龔菲，現(xiàn)任普元數(shù)據(jù)治理團(tuán)隊(duì)產(chǎn)品工程師，3年數(shù)據(jù)治理經(jīng)驗(yàn)，負(fù)責(zé)國內(nèi)外數(shù)據(jù)治理趨勢研究、普元數(shù)據(jù)治理產(chǎn)品研究與推廣，掌握國內(nèi)外數(shù)據(jù)治理產(chǎn)品的發(fā)展趨勢，編寫了一系列數(shù)據(jù)治理文章。先后參與了華夏人壽、海通證券、東方航空等數(shù)據(jù)項(xiàng)目，尤其是對元數(shù)據(jù)相關(guān)理論與業(yè)界產(chǎn)品有深入了解，擅長業(yè)務(wù)元數(shù)據(jù)管理、本體構(gòu)建等元數(shù)據(jù)相關(guān)領(lǐng)域知識。