受治理的數(shù)據(jù)湖將增加企業(yè)數(shù)據(jù)資產(chǎn)的價值。對于那些在運營戰(zhàn)略中優(yōu)先考慮數(shù)據(jù)的組織來說，數(shù)據(jù)湖是理想的解決方案。當(dāng)多個團(tuán)隊需要訪問企業(yè)數(shù)據(jù)時，安全的數(shù)據(jù)共享是一個關(guān)鍵因素。為了幫助管理這種使用，組織可以依賴一個受治理的數(shù)據(jù)湖，該湖容納原始結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)是可信的、安全的和受治理的。

對于那些從數(shù)據(jù)中獲取價值的組織，包括關(guān)于客戶、員工、交易和其他資產(chǎn)的數(shù)據(jù)，受治理的數(shù)據(jù)湖為識別、理解、共享和利用這些數(shù)據(jù)創(chuàng)造了巨大的機(jī)會。

一、受治理數(shù)據(jù)湖的體系結(jié)構(gòu)

架構(gòu)設(shè)計決定了受治理數(shù)據(jù)湖的體系結(jié)構(gòu)。數(shù)據(jù)存儲庫由三個主要部分組成。數(shù)據(jù)存儲庫提供了存儲數(shù)據(jù)和運行盡可能接近數(shù)據(jù)的分析的平臺；數(shù)據(jù)湖服務(wù)定位、訪問、準(zhǔn)備、轉(zhuǎn)換、處理和移動數(shù)據(jù)，并將其移入和移出數(shù)據(jù)存儲庫；數(shù)據(jù)管理和治理結(jié)構(gòu)有助于治理和管理數(shù)據(jù)湖中的數(shù)據(jù)。數(shù)據(jù)治理功能驗證并增強數(shù)據(jù)質(zhì)量，保護(hù)數(shù)據(jù)不被濫用，確保在生命周期的適當(dāng)時刻更新、保留并最終刪除數(shù)據(jù)。

治理，即數(shù)據(jù)的組織和對數(shù)據(jù)質(zhì)量有保證的能力，是管理數(shù)據(jù)湖的一個重要方面。雖然數(shù)據(jù)湖旨在提供對數(shù)據(jù)的靈活訪問，但必須要有一個治理系統(tǒng)來確保數(shù)據(jù)具有完備的安全性、受保護(hù)性并繼續(xù)有用。受治理的數(shù)據(jù)湖可以按其層次進(jìn)行說明，如下所示：

·基礎(chǔ)層，主要基于數(shù)據(jù)治理；

·中間層，它用新的和附加的數(shù)據(jù)類型和數(shù)據(jù)行為擴(kuò)展初始數(shù)據(jù)湖存儲庫；

·高級層，支持自助服務(wù)分析。

每個層為組織中的不同數(shù)據(jù)消費者保存特定的數(shù)據(jù)。架構(gòu)師可以從發(fā)布的參考體系結(jié)構(gòu)中獲得參照，該體系結(jié)構(gòu)由單個和通用的元數(shù)據(jù)存儲庫支持。數(shù)據(jù)科學(xué)家受益于一個控制區(qū)域，在那里他們可以存放正在進(jìn)行的沙箱。

數(shù)據(jù)湖的好處來自于數(shù)據(jù)治理。治理推動了“數(shù)據(jù)優(yōu)先”的文化，在這種文化中，業(yè)務(wù)用戶擁有數(shù)據(jù)的所有權(quán)，并就規(guī)則和策略達(dá)成一致。共享定義創(chuàng)建了相互理解，這有助于避免團(tuán)隊之間或團(tuán)隊之間的混淆。有了這一共同點，我們可以訪問可信數(shù)據(jù)，并加快分析應(yīng)用程序的洞察力。業(yè)務(wù)價值從對數(shù)據(jù)及其重要性的認(rèn)識轉(zhuǎn)變?yōu)殡S時進(jìn)行靈活的分析。

一個模塊化的、可伸縮的數(shù)據(jù)湖由幾個元素組成，這些元素支持了整個組織的自助訪問。

二、四種類型的數(shù)據(jù)消費者

使用數(shù)據(jù)湖中數(shù)據(jù)的用戶在各自關(guān)注的方面各不相同。了解它們處理數(shù)據(jù)的方法之間的差異是成功治理的一個重要方面。

1、數(shù)據(jù)分析團(tuán)隊

-管理數(shù)據(jù)和建立模型的數(shù)據(jù)科學(xué)家

–將模型轉(zhuǎn)化為應(yīng)用程序的分析開發(fā)人員

–將分析應(yīng)用程序整合到操作系統(tǒng)中的應(yīng)用程序開發(fā)人員

2、數(shù)據(jù)管家團(tuán)隊

–優(yōu)化數(shù)據(jù)質(zhì)量并準(zhǔn)備ETL作業(yè)

–編目數(shù)據(jù)并執(zhí)行元數(shù)據(jù)管理

–在數(shù)據(jù)保護(hù)和隱私之間取得平衡

3、治理、風(fēng)險和合規(guī)團(tuán)隊

–構(gòu)建數(shù)據(jù)治理和安全策略的數(shù)據(jù)治理專家

–保護(hù)數(shù)據(jù)以確保在所有流程中實施隱私控制

–編制保留、歸檔和處置要求，并確保數(shù)據(jù)符合政策和法規(guī)

4、業(yè)務(wù)應(yīng)用團(tuán)隊

–業(yè)務(wù)線（LOB）高管，如CMOs、CFO或CHRO

–成為數(shù)據(jù)業(yè)務(wù)所有者的首席數(shù)據(jù)官

–為實現(xiàn)特定業(yè)務(wù)成果或可操作見解而實施系統(tǒng)的業(yè)務(wù)線主管

三、受治理數(shù)據(jù)湖的構(gòu)建

受治理數(shù)據(jù)湖是一種獨立于特定技術(shù)包括治理和管理過程的參考體系結(jié)構(gòu)。它不是Hadoop或企業(yè)數(shù)據(jù)倉庫。受治理的數(shù)據(jù)湖是一種內(nèi)部部署或基于云的解決方案，適用于希望將數(shù)據(jù)置于其運營核心的組織。受治理數(shù)據(jù)湖的構(gòu)建塊包括以下關(guān)鍵元素：

■企業(yè)IT數(shù)據(jù)交換可以在數(shù)據(jù)湖和企業(yè)IT系統(tǒng)之間提取、分析、提煉、轉(zhuǎn)換和交換數(shù)據(jù)，并將其從數(shù)據(jù)池移動到數(shù)據(jù)湖。它清理數(shù)據(jù)并持續(xù)監(jiān)控數(shù)據(jù)質(zhì)量。

■數(shù)據(jù)目錄服務(wù)描述了數(shù)據(jù)湖中的數(shù)據(jù)的含義、分類方式以及由此產(chǎn)生的對數(shù)據(jù)的治理需求。

■治理有助于管理數(shù)據(jù)湖中的數(shù)據(jù)，并對數(shù)據(jù)湖中存儲的數(shù)據(jù)應(yīng)用適當(dāng)?shù)牟呗?、安全性、?shù)據(jù)質(zhì)量和隱私。

■自助服務(wù)訪問由三組服務(wù)組成，它們提供對數(shù)據(jù)湖的按需訪問。分析用戶的自助服務(wù)訪問允許訪問存儲的原始數(shù)據(jù)。對于LOB團(tuán)隊，該服務(wù)以簡化的數(shù)據(jù)結(jié)構(gòu)提供標(biāo)準(zhǔn)化數(shù)據(jù)。對于治理團(tuán)隊、風(fēng)險和合規(guī)團(tuán)隊，該服務(wù)為審計提供受治理的數(shù)據(jù)。

1、從各種來源攝取數(shù)據(jù)

攝取是在數(shù)據(jù)湖、企業(yè)IT系統(tǒng)和其他現(xiàn)有數(shù)據(jù)湖之間提取、轉(zhuǎn)換、質(zhì)量處理和交換數(shù)據(jù)的過程。數(shù)據(jù)湖中的大部分?jǐn)?shù)據(jù)來自組織的IT系統(tǒng)。這些數(shù)據(jù)類型可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的或非結(jié)構(gòu)化的。數(shù)據(jù)源可以是操作業(yè)務(wù)的系統(tǒng)、網(wǎng)站日志或其他監(jiān)視活動的源。

■成功的做法

–無中斷地將數(shù)據(jù)流到數(shù)據(jù)湖

–分析經(jīng)過轉(zhuǎn)換、標(biāo)準(zhǔn)化和豐富化的數(shù)據(jù)

–即使在數(shù)據(jù)量增加的情況下也能降低存儲成本

–使用沙盒進(jìn)行探索性分析

■失敗的表現(xiàn)

–隨著數(shù)據(jù)量的增加，難以保持?jǐn)?shù)據(jù)的新鮮

–喪失使用非結(jié)構(gòu)化信息資產(chǎn)的能力

–支付更高的存儲成本

–使數(shù)據(jù)清理復(fù)雜化，從而導(dǎo)致更高的數(shù)據(jù)處理成本

2、數(shù)據(jù)目錄

數(shù)據(jù)目錄有助于標(biāo)記數(shù)據(jù)湖中的數(shù)據(jù)，并創(chuàng)建信息資產(chǎn)的清單。目錄接口為數(shù)據(jù)湖用戶提供關(guān)于其分類、沿襲以及如何治理數(shù)據(jù)的信息。

·允許在目錄中捕獲非結(jié)構(gòu)化信息資產(chǎn)

·與幾乎所有信息資產(chǎn)的開放生態(tài)系統(tǒng)集成

–數(shù)據(jù)目錄，用于存儲組織中幾乎所有的數(shù)據(jù)資產(chǎn)

–行業(yè)特定數(shù)據(jù)和業(yè)務(wù)術(shù)語促成因素

–作為元數(shù)據(jù)一部分的分級功能和標(biāo)記

必須理解引入治理管道的數(shù)據(jù)，因此從業(yè)務(wù)角度來看，技術(shù)數(shù)據(jù)是有意義的。例如，一個9位數(shù)的號碼可能是美國社會保險號碼或雇員身份證號碼，或兩者兼而有之。分類和業(yè)務(wù)術(shù)語分配步驟為技術(shù)數(shù)據(jù)增加了業(yè)務(wù)含義。自動化是使這一過程規(guī)模化以滿足湖泊中數(shù)據(jù)量和多樣性的一個關(guān)鍵屬性。然后，制定工作流程、質(zhì)量評估和數(shù)據(jù)控制確保數(shù)據(jù)可以轉(zhuǎn)移到目錄中，從而使這些數(shù)據(jù)在整個企業(yè)中都可用。

■成功的做法

–增加實現(xiàn)結(jié)果的時間和分析數(shù)據(jù)的時間

–獲取相關(guān)資產(chǎn)知識并提高數(shù)據(jù)的有用性

–跟蹤數(shù)據(jù)沿襲并提高對數(shù)據(jù)的信任

–面向更廣泛消費的市場數(shù)據(jù)資產(chǎn)

–協(xié)助數(shù)據(jù)合規(guī)性

■失敗的表現(xiàn)

–冒險浪費時間搜索和標(biāo)記數(shù)據(jù)

–查找數(shù)據(jù)時找不到了解數(shù)據(jù)的同事

–不知道誰有權(quán)訪問數(shù)據(jù)

–未達(dá)到法規(guī)遵從性和治理要求

3、治理和管理數(shù)據(jù)

數(shù)據(jù)集成和治理結(jié)構(gòu)使系統(tǒng)能夠有效地跟蹤數(shù)據(jù)池，以便了解傳入的信息并自動應(yīng)用管理策略。治理框架有助于記錄治理策略和制定規(guī)則，以幫助您定義信息的結(jié)構(gòu)化、存儲、轉(zhuǎn)換和移動方式。

數(shù)據(jù)治理的要求以策略、規(guī)則和分類的形式記錄在目錄中。非結(jié)構(gòu)化資產(chǎn)是數(shù)據(jù)湖的一部分，并且數(shù)據(jù)級別的數(shù)量、多樣性和速度都要得到維護(hù)。

■成功的做法

–跟上新的數(shù)據(jù)量并繼續(xù)管理它

–使用行業(yè)特定的法規(guī)遵從性工具遵守法規(guī)要求

–加快主數(shù)據(jù)的采用

–利用高質(zhì)量數(shù)據(jù)提高洞察力準(zhǔn)確性

–快速響應(yīng)法規(guī)遵從性審核

-提高保護(hù)數(shù)據(jù)的能力

■失敗的表現(xiàn)

–無法管理來自結(jié)構(gòu)化和非結(jié)構(gòu)化源的不斷增長的數(shù)據(jù)量

–浪費時間查找數(shù)據(jù)，這可能會影響審核就緒性

–錯失了遵守法規(guī)遵從性和治理要求的機(jī)會

4、自助服務(wù)或報告

自助服務(wù)訪問可以通過簡單的搜索界面從數(shù)據(jù)中查找相關(guān)信息。它為自給自足的建設(shè)者提供高質(zhì)量、可信的數(shù)據(jù)，這些建設(shè)者可以使用這些數(shù)據(jù)在其數(shù)據(jù)科學(xué)計劃中構(gòu)建分析模型。它還允許非技術(shù)用戶在構(gòu)建和部署模型之前轉(zhuǎn)換數(shù)據(jù)。

直接訪問數(shù)據(jù)有助于IT構(gòu)建人員進(jìn)行數(shù)據(jù)準(zhǔn)備和轉(zhuǎn)換工作。這種訪問有助于治理和法規(guī)遵從性團(tuán)隊管理數(shù)據(jù)以備審計。它還幫助解決方案消費者為他們的業(yè)務(wù)需求創(chuàng)建定制報告，并能夠訪問業(yè)務(wù)就緒的數(shù)據(jù)，以便他們能夠快速做出決策，并從他們的數(shù)據(jù)中獲得有意義的業(yè)務(wù)見解。

■成功的做法

–允許數(shù)據(jù)用戶訪問上下文數(shù)據(jù)

–通過企業(yè)知識、社會標(biāo)記和信息資產(chǎn)的定性評級，幫助數(shù)據(jù)消費者信任數(shù)據(jù)

–監(jiān)視數(shù)據(jù)成為所有數(shù)據(jù)消費者都可以訪問的組織資產(chǎn)

–更快實現(xiàn)價值

–加速創(chuàng)新

–實現(xiàn)敏捷和迭代的數(shù)據(jù)探索和分析

■失敗的表現(xiàn)

–花更多的時間查找和準(zhǔn)備數(shù)據(jù)，而不是分析數(shù)據(jù)

–失去查找或訪問非結(jié)構(gòu)化資產(chǎn)的能力

–由于無法訪問受信任的數(shù)據(jù)而使決策變慢

–經(jīng)驗阻礙創(chuàng)新

四、結(jié)束語

根據(jù)Radiant Advisors的研究，72%的領(lǐng)導(dǎo)者認(rèn)為治理和安全是關(guān)鍵挑戰(zhàn)，但也是組織成功的首要因素。第一步是將治理和信息體系結(jié)構(gòu)視為優(yōu)先事項。這將打開組織內(nèi)部的對話，明確定義所有數(shù)據(jù)用戶對其數(shù)據(jù)的需求。在一個壞數(shù)據(jù)輸入等于壞數(shù)據(jù)輸出的世界中，每個數(shù)據(jù)用戶都成為對話的一部分。為數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量處理和數(shù)據(jù)治理部署一個企業(yè)范圍的統(tǒng)一平臺對于從分析計劃中獲得成功至關(guān)重要。這樣做可以讓我們有能力采集數(shù)據(jù)，確保數(shù)據(jù)的高質(zhì)量，并管理它，以納入分析過程。通過使用對數(shù)據(jù)湖的管理方法來應(yīng)對挑戰(zhàn)，可以建立一個基礎(chǔ)來交付可信數(shù)據(jù)以供多種用途。無論是管理海量數(shù)據(jù)的可擴(kuò)展性、特定于行業(yè)的加速器、使結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)可用的能力，還是以機(jī)器學(xué)習(xí)和人工智能專業(yè)知識為主導(dǎo)，企業(yè)都需要考慮全面受治理的數(shù)據(jù)湖解決方案，以建立一個可信和受管理的數(shù)據(jù)湖。

掃碼加入數(shù)據(jù)管理者