【原】您需要知道實施主數(shù)據(jù)管理的三大注意事項：管理治理數(shù)據(jù)質量工具選擇

數(shù)據(jù)治理精英館 2021-12-24

展開全文

一概述

每個組織都必須處理主數(shù)據(jù)，并設法以有效和高效的方式管理這一特定數(shù)據(jù)集的質量。組織在業(yè)務智能、重新配置ERP系統(tǒng)、優(yōu)化業(yè)務流程、創(chuàng)建客戶的單一視圖以及遵守外部規(guī)則和法規(guī)方面的需求非常活躍。充分的主數(shù)據(jù)管理是實現(xiàn)這些目標的重要先決條件。正是由于這個原因，主數(shù)據(jù)管理在許多大中型組織的議程中占據(jù)了非常重要的位置。下面描述了實現(xiàn)適當?shù)闹鲾?shù)據(jù)管理時需要注意的幾個重要方面。許多組織認為這些領域也相當復雜:主數(shù)據(jù)管理的治理、主數(shù)據(jù)管理的基礎和主數(shù)據(jù)管理的自動化。

二管理主數(shù)據(jù)的管理:“治理”

主數(shù)據(jù)管理治理的目標是控制并在必要時調整旨在確?？沙掷m(xù)主數(shù)據(jù)質量的活動(計劃、執(zhí)行、檢查和改進)。清晰的角色、任務和職責結構是主數(shù)據(jù)管理治理的重要組成部分，但不是惟一的要求。

注意事項

·不要造成太大的復雜性，也不要試圖先于組織的其他部分采用主數(shù)據(jù)管理治理:首先，盡可能多地和現(xiàn)有的組織結構相結合。

·不要期望出現(xiàn)奇跡，花點時間讓主數(shù)據(jù)管理治理慢慢地被組織吸收:人們需要時間來理解他們的新角色、任務和職責，并獲得經驗。

·從自頂向下的角度處理主數(shù)據(jù)管理治理:明確定義和基本原則、指導方針和標準對于確保主數(shù)據(jù)和主數(shù)據(jù)管理質量至關重要。

·不要將治理局限于只分配角色和職責:還應該確保適當?shù)牟僮髂Ｊ胶蛯嶋H的工作方式(例如組織“主數(shù)據(jù)管理社區(qū)”)。

·“數(shù)字說明一切”:為了正確管理，你必須知道你想去哪里，什么時候需要去那里。

1 不要立刻去買黃金

盡管這可能非常誘人，但在重新設計主數(shù)據(jù)管理組織時，不應該采用“理想模型”。在許多組織中，仍然沒有清晰有效的過程所有者、系統(tǒng)所有者和數(shù)據(jù)所有者的組織架構，主數(shù)據(jù)管理治理可以輕松地與這些結構保持一致。與流程治理類似，主數(shù)據(jù)管理治理也超越了部門或職能領域(例如IT或采購)的傳統(tǒng)邊界。因此，為主數(shù)據(jù)管理治理實現(xiàn)這個理想模型沒有什么意義。通常情況下，人們一開始不得不堅持回答一些簡單的問題，比如“誰做什么?””和“誰決策?”

現(xiàn)有的組織結構可以用作在主數(shù)據(jù)管理模式中分配各種角色的起點。通過這種方式，新的角色逐漸被引入到熟悉的環(huán)境中，使得角色的分配和接受更加容易。“想大事,做小事”是一個經常在主數(shù)據(jù)管理的口號。這表明主數(shù)據(jù)管理遠景必須是組織范圍的、獨立于對象的、面向未來的。它還表明，這一設想的實施最好是在相對較小的規(guī)模上進行，至少在最初階段是這樣。這也適用于主數(shù)據(jù)管理中的治理:與現(xiàn)有的良好組織架構實踐保持一致，并在組織的其他部分也做好準備時逐步向所需的管理模式發(fā)展。

明確關注溝通和變更管理是主數(shù)據(jù)管理成功的一個重要因素，絕對不能低估。作為主數(shù)據(jù)管理活動的一部分，將改變現(xiàn)有角色，并引入新的角色。在“將主數(shù)據(jù)視為資產”的愿景中，預期相關各方將真正對改進和確保主數(shù)據(jù)的質量負責，并因此采取相應的行為。要做到這一點，需要做出很大的努力，清晰地傳達主數(shù)據(jù)管理的附加價值，并讓利益相關方做好準備，了解主數(shù)據(jù)管理對他們日常工作方式的影響。

2 從理論到實踐

主數(shù)據(jù)管理中的重要核心概念是標準化、明確、清晰和一致性。自頂向下可以最有效地處理主數(shù)據(jù)管理治理。

顯然，必須考慮所有的本地特征和特定于系統(tǒng)的配置，但是明確、清晰和一致的愿景最能保證主數(shù)據(jù)管理的質量。創(chuàng)建和表達這一愿景的最有效方法是從組織內部一個可識別的中心位置出發(fā)，最好有來自高級管理層(董事會級別)的明確支持和溝通。這樣，主數(shù)據(jù)管理治理的建立在實踐中將是一個自頂向下的管理人員活動。

這里需要強調的是，主數(shù)據(jù)管理不一定需要集中主數(shù)據(jù)。在共享服務中心中合并主數(shù)據(jù)管理是一種持續(xù)的趨勢，主數(shù)據(jù)管理的效率、連續(xù)性和知識保留肯定得益于活動的集中化。但是，主數(shù)據(jù)管理并不是集中化的同義詞。根據(jù)業(yè)務操作的環(huán)境，必須將主數(shù)據(jù)維護與日常業(yè)務活動保持密切聯(lián)系。

僅僅分配角色、任務和責任是不夠的。應該為相關人員制定一個組織結構，在這個結構中他們可以執(zhí)行他們的新任務和職責。

因此，主數(shù)據(jù)管理治理應該建立溝通結構，從結構上將利益相關者相互聯(lián)系起來，討論當前問題并分享見解。正式的主數(shù)據(jù)管理社區(qū)(一組來自不同部門和企業(yè)的相關人員)是經過驗證的解決方案，可以以簡單的方式促進見解、經驗和解決方案的交流。

必須定義和記錄與主數(shù)據(jù)管理設計和實現(xiàn)有關的原則、指導方針、標準和實際方法，最好是在公共策略文檔中。

最后，還有所謂的“支持性”主數(shù)據(jù)管理治理過程，它關注組織內主數(shù)據(jù)管理整體的持續(xù)運行以及必要的改進。在這種情況下，可以與眾所周知的ITIL過程進行類比:

·變更管理(例如:我們在系統(tǒng)[Y]中向表[X]添加一個新的字段;誰將批準，哪些系統(tǒng)、過程、程序和標準必須隨后調整?)

·事件管理(例如:涉及主數(shù)據(jù)或主數(shù)據(jù)管理質量的事件和問題應該是透明的，并且必須指定對這些問題的后續(xù)處理)

·服務水平管理(例如:建立和監(jiān)控與主數(shù)據(jù)維護相關的服務水平)

·遵從性管理(例如:確保主數(shù)據(jù)管理和主數(shù)據(jù)符合相關的內部和外部規(guī)則和法規(guī))。

3 通過度量有效地管理主數(shù)據(jù)

有效的治理還意味著可以在需要的時候和地點重新校準主數(shù)據(jù)管理的設計和執(zhí)行。這需要能夠報告主數(shù)據(jù)質量和主數(shù)據(jù)管理質量，對每個主數(shù)據(jù)對象和主數(shù)據(jù)管理使用預定義的性能指標和質量標準。

二主數(shù)據(jù)管理的基礎是:主數(shù)據(jù)定義和主數(shù)據(jù)質量

主數(shù)據(jù)定義和主數(shù)據(jù)質量是主數(shù)據(jù)管理核心的兩個重要主題:哪些主數(shù)據(jù)應該屬于主數(shù)據(jù)管理體系，以及是什么實際決定了主數(shù)據(jù)的質量?

注意事項

·以實用的方式定義和分類主數(shù)據(jù)，以獲得數(shù)據(jù)字典和數(shù)據(jù)模型。

·在包括業(yè)務(流程)專家、信息分析師和IT專家的多學科團隊中開發(fā)主數(shù)據(jù)定義和數(shù)據(jù)質量規(guī)則(“業(yè)務規(guī)則”)。

·注意對最關鍵的數(shù)據(jù)屬性(業(yè)務影響)的主數(shù)據(jù)質量規(guī)則的定義，并確保定期檢查(迭代過程)。

·應該明確維護主數(shù)據(jù)質量規(guī)則的責任。例如，通過任命主要負責實現(xiàn)組織范圍的數(shù)據(jù)定義和質量規(guī)則的主數(shù)據(jù)管理員。

·數(shù)字說明一切。使(不)符合質量要求的情況透明化。

1 不存在通用主數(shù)據(jù)定義

沒有一個通用的主數(shù)據(jù)定義，甚至也沒有一個通用的標準主數(shù)據(jù)對象列表。每個人都同意“客戶”和“供應商”屬于這一類，但對于某些數(shù)據(jù)對象(如契約或組織單元)，可能難以達成共識。通常，公司特定IT系統(tǒng)的定義和數(shù)據(jù)模型在這方面處于領先地位。然而，在主數(shù)據(jù)的特性上達成一致是可能的。在公司內部定義主數(shù)據(jù)時，討論的重點應該是這樣一個問題:“我們希望由主數(shù)據(jù)管理管理哪些數(shù)據(jù)對象?”這種務實的方法比持續(xù)關注關于主數(shù)據(jù)包羅萬象的定義的理論討論的成功的可能性大得多。

在建立相關主數(shù)據(jù)對象的系統(tǒng)獨立目錄之后，應該分析數(shù)據(jù)對象在所有(IT)系統(tǒng)中的存在方式。在特定(IT)系統(tǒng)中配置主數(shù)據(jù)對象的方式會影響主數(shù)據(jù)維護流程的設計。例如，在應用程序的配置模塊中維護的主數(shù)據(jù)對象(通常在IT部門中維護)將使用與最終用戶通過應用程序的常規(guī)功能菜單維護的對象不同的維護過程。

通過上述步驟，可以清楚地了解主數(shù)據(jù)對象，包括它們的特征、分類、定義和對象之間的關系。目的是建立一個共同的理解，也確保統(tǒng)一的使用和應用。這將形成“(主)數(shù)據(jù)字典”和數(shù)據(jù)模型。

2 質量是一個模糊的概念

在日常使用中，質量是一個很明顯的概念。然而，質量有時是模糊的定義。在本文中，我們使用以下定義:對象的一組屬性和特性，這些屬性和特性對于遵守定義的規(guī)范和要求非常重要。

主數(shù)據(jù)的質量取決于主數(shù)據(jù)遵從已定義的質量規(guī)則的程度(這些規(guī)則來自于當前的業(yè)務需求)。這些質量規(guī)則以兩種形式存在，“技術規(guī)則”和“業(yè)務規(guī)則”。

·技術規(guī)則是直接與主數(shù)據(jù)對象及其屬性(強制/可選屬性、屬性長度、格式約定等)相關的規(guī)則。

·業(yè)務規(guī)則是直接產生于業(yè)務流程和場景的規(guī)則(例如，在創(chuàng)建客戶時，選擇的“稅收分類”)。這些規(guī)則經常支配主數(shù)據(jù)屬性和主數(shù)據(jù)對象。

充分定義質量規(guī)則并確保對這些規(guī)則的遵從將確保業(yè)務需求得到滿足。

3 有形的數(shù)據(jù)質量管理

對于許多組織來說，質量規(guī)則的定義不是簡單的、協(xié)調的活動。技術規(guī)則通常只記錄在技術系統(tǒng)文檔中，而數(shù)據(jù)標準和業(yè)務規(guī)則通常只存在于人們的頭腦中，沒有明確地描述、評估和驗證。此外，還有一些外部標準和質量要求是主數(shù)據(jù)必須遵守的(例如FDA/GMP、ISO)。在確定質量規(guī)則時，必須了解業(yè)務流程、業(yè)務需求和主數(shù)據(jù)使用的本質。組織傾向于將業(yè)務需求轉換為掌握數(shù)據(jù)規(guī)則視為一件復雜的事情。這可能是由于各種原因:

·主數(shù)據(jù)不清楚。主數(shù)據(jù)本身的定義不存在、不清晰和/或不一致。

·業(yè)務需求不明確。業(yè)務流程和相應的需求是不清晰的，不被理解的，或者是非常異構的。

·規(guī)則結構不明確。人們很難將業(yè)務需求鏈接到主數(shù)據(jù)，并從中提取結果規(guī)則。

·系統(tǒng)的架構復雜。復雜的系統(tǒng)環(huán)境(例如，存在許多翻譯表以使應用程序之間的數(shù)據(jù)模型能夠連接起來)使定義統(tǒng)一和一致的規(guī)則變得更加困難。

為了確保質量規(guī)則的正確定義，一方面建立主數(shù)據(jù)所有權，另一方面收集來自不同學科的相關知識持有者的需求，這是非常重要的。這也是一個迭代的過程，在這個過程中，規(guī)則可以不斷地被完善。在定義質量規(guī)則之后，可以得出這樣的結論:規(guī)則可能不夠具體，或者忽略了特定的業(yè)務場景。所有權的建立對于促進必要的決策非常重要。

4 數(shù)字說明了一切

質量規(guī)則的遵從應確保業(yè)務需求得到滿足。通常，組織會采取某種形式的措施來確保遵守這些法規(guī)，例如應用程序中的強制性領域，或工作說明中嵌入的質量規(guī)則。這些規(guī)定往往是支離破碎的，而且隨著時間的推移變得更加豐富。應該有預防措施，包括政策、工作指令、工作流、應用控制、SLA等；檢測措施，包括缺陷報告、監(jiān)視、KPI、儀表板；糾正措施，包括糾正程序的整體組合。

監(jiān)視是確保主數(shù)據(jù)質量的最重要的措施之一。預定義的關鍵績效指標和相應的質量水平(每個KPI的目標是什么?)是控制主數(shù)據(jù)質量的手段。然而，定義這些KPI和質量度量是一個不斷細化的過程，以便最終實現(xiàn)最優(yōu)的質量規(guī)則集。

三主數(shù)據(jù)管理的工具:自動化

有特定的主數(shù)據(jù)管理工具可以有效地保證主數(shù)據(jù)的質量?，F(xiàn)在，主數(shù)據(jù)管理工具的功能面向主數(shù)據(jù)管理中的各種組件，但它們的出發(fā)點通常是關注數(shù)據(jù)質量和數(shù)據(jù)集成。

下圖中提到的主數(shù)據(jù)管理工具功能可以分為三個不同的主數(shù)據(jù)管理工具類別，即:

·數(shù)據(jù)質量工具:該工具專門用于管理和監(jiān)控數(shù)據(jù)質量。

·數(shù)據(jù)集成工具:提取、轉換和加載(ETL)是該工具的關鍵元素。

·數(shù)據(jù)治理工具:對所有權和主數(shù)據(jù)維護過程的控制是該工具的核心功能。

注意事項

·在購買工具之前，確保主數(shù)據(jù)治理、過程和質量中的原則和要求是明確的。僅使用工具并不能解決主數(shù)據(jù)問題。

·仔細檢查組織已經使用的工具，或者哪些未使用的功能可能被投入使用。

·確保主數(shù)據(jù)管理工具的業(yè)務用例和需求清晰且得到廣泛支持。

·不要尋找涵蓋所有主數(shù)據(jù)管理功能的工具，而是首先選擇能帶來最大好處的功能。根據(jù)主數(shù)據(jù)對象/域的不同，這可能有所不同。

·確保主數(shù)據(jù)管理工具符合組織當前的IT體系結構原則。

·一定要應用主數(shù)據(jù)管理工具，因為這為組織提供了衡量主數(shù)據(jù)管理質量的真正機會。

1 三思而后行

企業(yè)對主數(shù)據(jù)管理工具越來越感興趣。主數(shù)據(jù)管理工具被用作有效的主數(shù)據(jù)管理解決方案，有時被誤用。首先，定義主數(shù)據(jù)管理工具的需求、特定需求和范圍是很重要的，因為這不是解決方案，而是實現(xiàn)解決方案的方法。在許多組織內，可能存在下列問題:

·工具不滿足實際需求，因此很少使用。

·在沒有定義和實現(xiàn)許多先決條件的情況下應用工具，比如數(shù)據(jù)質量監(jiān)控的清晰主數(shù)據(jù)定義和質量標準，以及充分定義的工作流維護過程。

由于這些原因，組織在做出與獲取和實現(xiàn)主數(shù)據(jù)管理工具相關的決定之前，最好至少清楚以下主題:

·在獲取主數(shù)據(jù)管理工具之前，應該創(chuàng)建業(yè)務用例。是否真的有必要購買主數(shù)據(jù)管理工具?有真正的業(yè)務需求嗎?對于主數(shù)據(jù)管理過程的良好設計、系統(tǒng)中的訪問權限和工作指令的使用。

·主數(shù)據(jù)管理工具需要哪些功能?重要的是要知道工具是在后端(監(jiān)控數(shù)據(jù)質量、數(shù)據(jù)集成)還是在前端(工作流、維護過程)。

·組織可能已經在使用關于主數(shù)據(jù)管理工具的“最佳實踐”。因此，這類實踐的清單是合適的，因為主數(shù)據(jù)管理工具很可能已經在其他業(yè)務單元中用于類似的目的。

2適合的主數(shù)據(jù)工具

IT工具的選擇要與組織的IT體系結構相適應，這一點很重要。主數(shù)據(jù)管理工具必須符合當前現(xiàn)有的IT體系結構原則，這應該考慮到實現(xiàn)特定的數(shù)據(jù)集成工具的復雜性。

在通用IT體系結構中，部署主數(shù)據(jù)管理工具來完全或部分支持以下體系結構類型之一(或它們的組合)。確定哪種主數(shù)據(jù)管理體系結構最適合組織的主數(shù)據(jù)管理目標，以及哪種現(xiàn)有技術能夠實現(xiàn)主數(shù)據(jù)管理體系結構的特性，這一點非常重要。主數(shù)據(jù)管理工具可以分為三種類型:

·整合。在一個集中的主數(shù)據(jù)數(shù)據(jù)庫中，跨異構環(huán)境識別和合并類似或相同的對象，并提供相關的關鍵映射信息，供業(yè)務用于報告目的。

·協(xié)調。合并后的主數(shù)據(jù)也被分發(fā)到目標系統(tǒng)。在整個IT領域中，相關屬性是同步的。

·集中。只有一個地方可以輸入數(shù)據(jù)，數(shù)據(jù)會自動分發(fā)到目標系統(tǒng)。在目標系統(tǒng)中，可以使用本地屬性豐富數(shù)據(jù)。