數(shù)據(jù)標(biāo)準(zhǔn)是指保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確性的規(guī)范性約束,建立數(shù)據(jù)標(biāo)準(zhǔn)容易,落標(biāo)難。本文通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的定義,落標(biāo)難點(diǎn)分析以及通過(guò)國(guó)內(nèi)外標(biāo)桿案例的講解和對(duì)落標(biāo)關(guān)鍵點(diǎn)剖析,系統(tǒng)的介紹數(shù)據(jù)標(biāo)準(zhǔn)通過(guò)模型驅(qū)動(dòng)的標(biāo)準(zhǔn)落標(biāo)整體方案,幫助企事業(yè)單位理解數(shù)據(jù)標(biāo)準(zhǔn)落地相關(guān)問(wèn)題。 一數(shù)據(jù)標(biāo)準(zhǔn)概述 數(shù)據(jù)是由特定的環(huán)境產(chǎn)生的,這些環(huán)境因素包括生產(chǎn)者、時(shí)間、系統(tǒng)等,這就造成了同一個(gè)語(yǔ)義的數(shù)據(jù),會(huì)有多種不同的定義方法,給后期進(jìn)行數(shù)據(jù)匯集和整合帶來(lái)障礙。因此,數(shù)據(jù)處理的前奏就是數(shù)據(jù)標(biāo)準(zhǔn)化,數(shù)據(jù)標(biāo)準(zhǔn)作為一個(gè)統(tǒng)一的數(shù)據(jù)共識(shí),在企業(yè)的標(biāo)準(zhǔn)化中起到重要作用。數(shù)據(jù)標(biāo)準(zhǔn)是指保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確性的規(guī)范性約束。數(shù)據(jù)標(biāo)準(zhǔn)一般包括下面幾個(gè),為了統(tǒng)一本文閱讀共識(shí),列出如下: 1)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),這個(gè)標(biāo)準(zhǔn)是針對(duì)數(shù)據(jù)原始定義,一般面向原系統(tǒng)數(shù)據(jù)或ODS層數(shù)據(jù)。包括業(yè)務(wù)語(yǔ)義、管理標(biāo)準(zhǔn)、邏輯數(shù)據(jù)模型標(biāo)準(zhǔn)、物理數(shù)據(jù)模型標(biāo)準(zhǔn)、元數(shù)據(jù)標(biāo)準(zhǔn)、公共代碼標(biāo)準(zhǔn)、技術(shù)規(guī)范,質(zhì)量要求等。 2)指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn),一般分為基礎(chǔ)指標(biāo)標(biāo)準(zhǔn)和計(jì)算指標(biāo)(又稱組合指標(biāo))標(biāo)準(zhǔn)?;A(chǔ)指標(biāo)一般不含維度信息,且具有特定業(yè)務(wù)和經(jīng)濟(jì)含義。計(jì)算指標(biāo)通常由兩個(gè)以上基礎(chǔ)指標(biāo)計(jì)算得出。這個(gè)標(biāo)準(zhǔn)針對(duì)衍生型數(shù)據(jù),一般面向集市層的報(bào)表等計(jì)算型數(shù)據(jù)。 3)標(biāo)準(zhǔn)代碼,這個(gè)具體指數(shù)據(jù)標(biāo)準(zhǔn)中的枚舉值和語(yǔ)義,可以作為基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)的一部分,數(shù)據(jù)標(biāo)準(zhǔn)維度也是大部分來(lái)源于此。 4)主數(shù)據(jù)標(biāo)準(zhǔn),這個(gè)特指主數(shù)據(jù)治理中的實(shí)體對(duì)象數(shù)據(jù)的唯一編碼和規(guī)則,比如物料主數(shù)據(jù)編碼。 5)業(yè)務(wù)術(shù)語(yǔ)詞典,這個(gè)指企業(yè)數(shù)據(jù)定義過(guò)程中,從業(yè)務(wù)名詞到物理表和字段的標(biāo)準(zhǔn)化翻譯的詞根和詞素。 6)其他規(guī)范,包括數(shù)據(jù)庫(kù)設(shè)計(jì)規(guī)范、元數(shù)據(jù)規(guī)范、模型規(guī)范等,具體可以在其他治理活動(dòng)下定義,也是廣義數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)的一部分。 一般情況下,本文所述的數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)主要指:(1)基礎(chǔ)標(biāo)準(zhǔn)落標(biāo),(3)標(biāo)準(zhǔn)代碼落標(biāo),(5)命名標(biāo)準(zhǔn)落標(biāo)。指標(biāo)體系的落標(biāo)是由于在數(shù)據(jù)后期比較容易實(shí)現(xiàn),故不在重點(diǎn)討論中,主數(shù)據(jù)標(biāo)準(zhǔn)編碼則特定于主數(shù)據(jù)治理過(guò)程中實(shí)現(xiàn),不在此贅述。 數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)意義在于企業(yè)由此開(kāi)始進(jìn)行數(shù)據(jù)驅(qū)動(dòng)文化,開(kāi)始從源頭進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化生產(chǎn),加速數(shù)據(jù)的融合與統(tǒng)一的效率,節(jié)省大量數(shù)據(jù)應(yīng)用和處理的成本。數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)程度可以分為基本拉通型落標(biāo)和全局管控型落標(biāo)。 基本拉通型落標(biāo)是指設(shè)計(jì)的數(shù)據(jù)元素符合數(shù)據(jù)標(biāo)準(zhǔn)的基本語(yǔ)義和業(yè)務(wù)規(guī)則,物理定義符合技術(shù)規(guī)范,具體數(shù)據(jù)語(yǔ)義可以進(jìn)行無(wú)規(guī)范的衍生。落標(biāo)范圍重點(diǎn)是核心業(yè)務(wù)系統(tǒng)的核心標(biāo)準(zhǔn)和交叉標(biāo)準(zhǔn),還有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的。這種類型適合中小銀行的上手階段,以及沒(méi)有重大系統(tǒng)升級(jí)機(jī)會(huì)的系統(tǒng),其核心目的是減少數(shù)據(jù)融合成本,加速數(shù)據(jù)消費(fèi)的效力,適合進(jìn)行數(shù)據(jù)化驅(qū)動(dòng)轉(zhuǎn)型的企業(yè)。 全局管控型落標(biāo)是指設(shè)計(jì)的數(shù)據(jù)元素符合數(shù)據(jù)標(biāo)準(zhǔn)的基本語(yǔ)義和業(yè)務(wù)規(guī)則,物理定義符合技術(shù)規(guī)范,具體的物理數(shù)據(jù)語(yǔ)義需要進(jìn)行有規(guī)范的衍生,數(shù)據(jù)質(zhì)量需要落地為數(shù)據(jù)庫(kù)約束或者質(zhì)量驗(yàn)核規(guī)則。落標(biāo)范圍是核心業(yè)務(wù)系統(tǒng)和重點(diǎn)業(yè)務(wù)系統(tǒng),以及數(shù)據(jù)倉(cāng)庫(kù)等衍生系統(tǒng)。這種適合IT能力強(qiáng),數(shù)據(jù)基礎(chǔ)好的企業(yè),其核心目標(biāo)是掌控企業(yè)全局?jǐn)?shù)據(jù),做到數(shù)據(jù)快速迭代,適合致力于打造數(shù)據(jù)快速創(chuàng)新型企業(yè)。 數(shù)據(jù)在落標(biāo)過(guò)程中是可以進(jìn)行一定程度的數(shù)據(jù)語(yǔ)義衍生的,比如“電話號(hào)碼”衍生為“供應(yīng)商電話”,如果衍生的字段有確實(shí)的細(xì)化語(yǔ)義,或者其他業(yè)務(wù)要求,就需要也有一些數(shù)據(jù)標(biāo)準(zhǔn)需要定義為子類標(biāo)準(zhǔn)或者同義標(biāo)準(zhǔn)。 子類標(biāo)準(zhǔn) 當(dāng)一類數(shù)據(jù)標(biāo)準(zhǔn)有進(jìn)行細(xì)化的必要,并帶來(lái)特定的語(yǔ)義和業(yè)務(wù)規(guī)則,就需要在原有標(biāo)準(zhǔn)上進(jìn)行衍生。比如“電話“衍生為”手機(jī)“和“座機(jī)“,這是因?yàn)檫@兩類衍生標(biāo)準(zhǔn)帶來(lái)不同的業(yè)務(wù)屬性,不同的數(shù)據(jù)格式,以及不同質(zhì)量檢查規(guī)則。 也有一些可以不進(jìn)行標(biāo)準(zhǔn)級(jí)別的衍生,比如“姓名“,具體語(yǔ)義的設(shè)計(jì)可能是“客戶姓名”和“供應(yīng)商姓名“,這兩個(gè)衍生可以不作為子類標(biāo)準(zhǔn)制定,這是因?yàn)闃I(yè)務(wù)語(yǔ)義是因?yàn)閿?shù)據(jù)所在的語(yǔ)義環(huán)境變化,本質(zhì)并沒(méi)有不同。 同義詞 同一類語(yǔ)義標(biāo)準(zhǔn),在不同的業(yè)務(wù)口徑中或者不同的人群中,會(huì)有不同的名詞,比如保單號(hào)和保單代碼是同一語(yǔ)義的名詞。這時(shí)候需要將兩者定義為同義詞,并在每一個(gè)定義時(shí),標(biāo)注清楚使用語(yǔ)境。 我國(guó)企事業(yè)單位的數(shù)據(jù)治理已經(jīng)開(kāi)展十幾年,在有數(shù)據(jù)監(jiān)管驅(qū)動(dòng)和自身數(shù)據(jù)價(jià)值挖掘的驅(qū)動(dòng)下,大部分行已經(jīng)進(jìn)行了數(shù)據(jù)標(biāo)準(zhǔn)框架定義和梳理,發(fā)布了各個(gè)板塊的數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)文件,有的甚至落實(shí)了數(shù)據(jù)標(biāo)準(zhǔn)流程和人員角色,然而數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)在大部分普通銀行仍然不是很理想。現(xiàn)在數(shù)據(jù)標(biāo)準(zhǔn)梳理和發(fā)布是比較容易的事情,各咨詢廠商手里也積攢了大量各個(gè)行積累的數(shù)據(jù)標(biāo)準(zhǔn),可以比較全面的提交給各個(gè)銀行,可是落標(biāo)不理想的原因筆者認(rèn)為有以下幾個(gè)問(wèn)題: 1)存量數(shù)據(jù)大,積重難返 根據(jù)破窗常理,沒(méi)人在乎再多一塊破窗戶。數(shù)據(jù)業(yè)務(wù)系統(tǒng)絕大部分已經(jīng)建設(shè)完成,木已成舟,不標(biāo)準(zhǔn)也沒(méi)法修改了。 2)開(kāi)發(fā)設(shè)計(jì)規(guī)范不重視 開(kāi)發(fā)團(tuán)隊(duì)的責(zé)任和考核點(diǎn)主要是系統(tǒng)上線,支撐業(yè)務(wù),在開(kāi)發(fā)團(tuán)隊(duì)的很多人看來(lái),數(shù)據(jù)標(biāo)準(zhǔn)化的設(shè)計(jì)是一個(gè)可選項(xiàng),影響上線時(shí)間才是大事。 3)標(biāo)準(zhǔn)落標(biāo)不方便,影響效率 很多家咨詢公司的數(shù)據(jù)標(biāo)準(zhǔn),技術(shù)規(guī)范普遍缺失。這說(shuō)明標(biāo)準(zhǔn)開(kāi)始就沒(méi)有認(rèn)真考慮落標(biāo)問(wèn)題,這就造成落標(biāo)很不方便,先在Excel里查找,再手工拷貝,再類型翻譯,確實(shí)影響效率。 4)監(jiān)管與激勵(lì)缺失,落與不落都一樣 現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)和字典中,落標(biāo)與不落標(biāo)是沒(méi)有量化跟蹤的,這直接造成激勵(lì)與認(rèn)責(zé)無(wú)法落地執(zhí)行。 5)人力與關(guān)注點(diǎn)缺失,沒(méi)人管 普通銀行并不像四大行那樣人財(cái)雄厚,數(shù)據(jù)治理工作普遍是3-4個(gè)人兼職完成,日常被大部分其他工作排滿,不可能把這項(xiàng)工作量化起來(lái),也無(wú)從著手。 二國(guó)內(nèi)外落標(biāo)案例介紹 為了認(rèn)真的研究這個(gè)命題,筆者決定調(diào)查幾個(gè)國(guó)內(nèi)落標(biāo)的典型案例,看看能從中學(xué)習(xí)點(diǎn)什么。調(diào)查從總體看思路,細(xì)節(jié)不符之處在所難免,望讀者不吝指出共同完善。 建設(shè)銀行從2014年新一代項(xiàng)目時(shí),開(kāi)始大力度的進(jìn)行徹底的和全方位的數(shù)據(jù)標(biāo)準(zhǔn)落地工程。建行師從IBM的四層模型法,通過(guò)九大銀行業(yè)概念設(shè)計(jì)了企業(yè)級(jí)邏輯模型,依托于此企業(yè)級(jí)邏輯模型,打造了企業(yè)級(jí)數(shù)據(jù)字典。通過(guò)設(shè)立數(shù)據(jù)標(biāo)準(zhǔn)處和架構(gòu)處,進(jìn)行了流程和規(guī)范管制,進(jìn)行強(qiáng)力度的模型和數(shù)據(jù)的落標(biāo)管理。具體請(qǐng)看筆者畫(huà)的一個(gè)示意圖。 建行落標(biāo)示意圖 從示意圖看出,建行采用了源頭控制的方法,基于建行的得天獨(dú)厚的邏輯模型優(yōu)勢(shì),打造了一個(gè)企業(yè)級(jí)的數(shù)據(jù)字典,由于業(yè)務(wù)系統(tǒng)從C模型繼承開(kāi)發(fā),所以存量問(wèn)題基本得到解決。 從模型開(kāi)發(fā)設(shè)計(jì)階段開(kāi)始,模型團(tuán)隊(duì)就要根據(jù)現(xiàn)有標(biāo)準(zhǔn)進(jìn)行落標(biāo)的設(shè)計(jì),溝通方式可以是電話或郵件,通過(guò)長(zhǎng)期工作,效率基本不影響開(kāi)發(fā)進(jìn)度。缺失的標(biāo)準(zhǔn)通過(guò)標(biāo)準(zhǔn)組來(lái)進(jìn)行更改和維護(hù)。 測(cè)試階段,需要提交數(shù)據(jù)字典映射到企業(yè)級(jí)數(shù)據(jù)字典,每一個(gè)新數(shù)據(jù)項(xiàng)的增加都可以說(shuō)明這是或者不是標(biāo)準(zhǔn),都會(huì)記錄在案。 核檢階段,現(xiàn)在主要是送數(shù)過(guò)程中進(jìn)行檢查,不通過(guò)將不能向后臺(tái)送數(shù)。近期要進(jìn)行上線核檢,提高落標(biāo)的早期檢查力度。 作為Erwin的開(kāi)發(fā)者,在外企的數(shù)據(jù)管理領(lǐng)域工作多年,對(duì)國(guó)外數(shù)據(jù)管理有較多認(rèn)識(shí),接觸過(guò)很多國(guó)外銀行業(yè)客戶,如SunTrust、蘇格蘭皇家銀行、citibank等。今年5月份有幸參加了國(guó)外的EDW大會(huì),筆者發(fā)現(xiàn)國(guó)外確實(shí)數(shù)據(jù)發(fā)展階段與我國(guó)有很大不同。 國(guó)外普遍比較重視數(shù)據(jù)建模工作,業(yè)務(wù)系統(tǒng)成熟多年,數(shù)據(jù)的修改全部由模型工具控制。會(huì)有專業(yè)的建模師和架構(gòu)師來(lái)貫徹落標(biāo)工作,同時(shí),模型工具也已經(jīng)標(biāo)準(zhǔn)化和全局推廣了,在EDW大會(huì)上很少聽(tīng)到討論落標(biāo)的話題,在他們的意識(shí)里,落標(biāo)已經(jīng)固化在建模過(guò)程中完成,甚至元數(shù)據(jù)管理也較少話題,因?yàn)橐惨呀?jīng)成為廣泛共識(shí)。相反,他們非常多的談的是Business Glossary,國(guó)內(nèi)卻很少提及。 總結(jié)一下,國(guó)外的系統(tǒng)建設(shè)期,因?yàn)樵诮@碚摵拖到y(tǒng)化設(shè)計(jì)思維方面的優(yōu)勢(shì),再加上企業(yè)管理制度的方面比較成熟,銀行業(yè)的數(shù)據(jù)建模工具的使用率非常高,使得數(shù)據(jù)的早期落標(biāo)得到較徹底的執(zhí)行,同時(shí),早期的數(shù)據(jù)標(biāo)準(zhǔn)問(wèn)題也基本到現(xiàn)在有了成熟的解決路徑。 根據(jù)筆者的經(jīng)驗(yàn)與實(shí)踐,數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)需要重點(diǎn)考慮以下三大問(wèn)題: 問(wèn)題1:什么數(shù)據(jù)需要制定哪些標(biāo)準(zhǔn)? 問(wèn)題2:什么系統(tǒng)落什么標(biāo)準(zhǔn)? 問(wèn)題3:什么人與什么時(shí)間執(zhí)行? 如果這三個(gè)問(wèn)題沒(méi)有想清楚,基本數(shù)據(jù)標(biāo)準(zhǔn)的梳理會(huì)停留在Excel層面,標(biāo)準(zhǔn)的政策會(huì)停留在墻上,無(wú)法走入每個(gè)設(shè)計(jì)者的頭腦和每個(gè)系統(tǒng)的每個(gè)字段。 先來(lái)說(shuō)第一個(gè)問(wèn)題,什么數(shù)據(jù)需要制定標(biāo)準(zhǔn)?首先回到數(shù)據(jù)標(biāo)準(zhǔn)所要解決問(wèn)題的初衷,數(shù)據(jù)標(biāo)準(zhǔn)主要解決數(shù)據(jù)在共享、融合、匯集應(yīng)用中的不一致問(wèn)題。好的,那么看看哪些數(shù)據(jù)會(huì)出現(xiàn)在這個(gè)這三個(gè)環(huán)節(jié)中,以及哪些容易出現(xiàn)問(wèn)題。 對(duì)于與一個(gè)企事業(yè)組織來(lái)說(shuō),按照價(jià)值鏈,一般關(guān)注三大要素:客戶、產(chǎn)品、大運(yùn)營(yíng)。IBM和TD將銀行業(yè)劃分為九大概念數(shù)據(jù),也是圍繞客戶與產(chǎn)品的大運(yùn)營(yíng)活動(dòng)細(xì)分。那么有如下幾類數(shù)據(jù)會(huì)在數(shù)據(jù)應(yīng)用過(guò)程中,會(huì)更多出現(xiàn)融合和匯總的機(jī)會(huì),需要格外注意。 表1 數(shù)據(jù)類型及范例表
第二個(gè)問(wèn)題和第三個(gè)問(wèn)題是實(shí)際工作中非常困擾的,落標(biāo)的大多數(shù)困難與此有關(guān),因此放在一起來(lái)說(shuō)明,筆者將系統(tǒng)與數(shù)據(jù)分列如下列表所示。 表2 系統(tǒng)與數(shù)據(jù)落標(biāo)時(shí)機(jī)選擇表
通過(guò)這個(gè)表格的內(nèi)容,不難看出數(shù)據(jù)標(biāo)準(zhǔn)從源頭落地,會(huì)減少數(shù)據(jù)的處理成本,提高數(shù)據(jù)應(yīng)用的效益,缺點(diǎn)是對(duì)于存量系統(tǒng)和外購(gòu)系統(tǒng)存在較大改動(dòng)風(fēng)險(xiǎn)和成本。如果從數(shù)據(jù)的倉(cāng)庫(kù)層進(jìn)行落標(biāo),比較容易著手處理,落標(biāo)后的下游數(shù)據(jù)系統(tǒng)則自動(dòng)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),然而數(shù)倉(cāng)層的報(bào)表應(yīng)用與業(yè)務(wù)系統(tǒng)的報(bào)表存在口徑不一致性在所難免,仍然需要源數(shù)據(jù)層進(jìn)行必要調(diào)整。無(wú)論從哪一層入手,模型的優(yōu)良設(shè)計(jì)環(huán)節(jié)都是必要條件,否則整個(gè)落標(biāo)過(guò)程會(huì)沒(méi)有抓手,流程也不順暢。 無(wú)論是原系統(tǒng)數(shù)據(jù)還是數(shù)倉(cāng)數(shù)據(jù),都是不同的開(kāi)發(fā)團(tuán)隊(duì)負(fù)責(zé),遵循軟件開(kāi)發(fā)標(biāo)準(zhǔn)的流程包括設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、上線、維護(hù)等環(huán)節(jié),因此我們需要在這個(gè)過(guò)程中,將數(shù)據(jù)標(biāo)準(zhǔn)這個(gè)優(yōu)良的炮彈送到最前線,同時(shí),管理團(tuán)隊(duì)需要參與這個(gè)過(guò)程的關(guān)鍵節(jié)點(diǎn)中,這需要企業(yè)在數(shù)據(jù)管理上提高管理和執(zhí)行水平。 鑒于企業(yè)當(dāng)前的數(shù)據(jù)基礎(chǔ)水平,數(shù)據(jù)的落標(biāo)同樣受到人力和財(cái)力的制約,所以一個(gè)自動(dòng)化水平非常高的落標(biāo)方案是非常切合我國(guó)普通銀行的發(fā)展階段的。因此,落標(biāo)方案的關(guān)鍵思想是在開(kāi)發(fā)階段由模型設(shè)計(jì)人員進(jìn)行落標(biāo),標(biāo)準(zhǔn)管理和架構(gòu)管理人員進(jìn)行評(píng)審和核準(zhǔn),同時(shí),自動(dòng)檢測(cè)能力來(lái)提高執(zhí)行水平和激勵(lì)環(huán)節(jié)的落地。 自動(dòng)化落標(biāo)方案 這里主要是在系統(tǒng)的需求設(shè)計(jì)和準(zhǔn)備過(guò)程中,對(duì)數(shù)據(jù)標(biāo)準(zhǔn)需要準(zhǔn)備好一些前提條件。 1)標(biāo)準(zhǔn)的技術(shù)規(guī)范已經(jīng)準(zhǔn)備好 數(shù)據(jù)標(biāo)準(zhǔn)已經(jīng)具有詳細(xì)的技術(shù)規(guī)范,包括物理數(shù)據(jù)類型,可以直接應(yīng)用的物理層上,并已經(jīng)準(zhǔn)備好邏輯數(shù)據(jù)類型到不同數(shù)據(jù)庫(kù)的類型映射。這里數(shù)據(jù)類型在DDM中是邏輯數(shù)據(jù)類型,具備自動(dòng)類型轉(zhuǎn)換能力。 2)標(biāo)準(zhǔn)的主題已經(jīng)準(zhǔn)備好 標(biāo)準(zhǔn)的主題其實(shí)是標(biāo)準(zhǔn)的應(yīng)用范圍和檢索目錄,對(duì)于具備條件的銀行應(yīng)該設(shè)計(jì)出邏輯模型,對(duì)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行業(yè)務(wù)組織。這樣在落標(biāo)過(guò)程中,這是重要的選擇依據(jù)。 3)標(biāo)準(zhǔn)已經(jīng)權(quán)威發(fā)布 標(biāo)準(zhǔn)已經(jīng)經(jīng)過(guò)討論,進(jìn)行了公開(kāi)發(fā)布,具有流程上的正式性和權(quán)威性。 數(shù)據(jù)模型是一個(gè)更好的數(shù)據(jù)字典,其向上承接業(yè)務(wù)語(yǔ)義,向下實(shí)現(xiàn)物理數(shù)據(jù),它不但包含了數(shù)據(jù)字典,更重要的是包含了業(yè)務(wù)的主題、業(yè)務(wù)主對(duì)象、數(shù)據(jù)關(guān)系以及數(shù)據(jù)標(biāo)準(zhǔn)的映射。所以模型及其工具的運(yùn)用不但是企業(yè)數(shù)據(jù)管理是否成熟的重要標(biāo)志,也是數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)的重要依托。不進(jìn)行模型設(shè)計(jì)和管理,落標(biāo)操作則事倍功半,因?yàn)槭チ斯芾淼淖罴褧r(shí)機(jī)。通過(guò)創(chuàng)新一個(gè)模型工具,在開(kāi)發(fā)階段,自動(dòng)管理數(shù)據(jù)字典和模型,實(shí)現(xiàn)下面三個(gè)落標(biāo)操作。 1)建立標(biāo)準(zhǔn)和數(shù)據(jù)的映射 標(biāo)準(zhǔn)落地的屬性繼承 一般情況下,數(shù)據(jù)字段落地標(biāo)準(zhǔn)時(shí)要引用標(biāo)準(zhǔn)中上述內(nèi)容,另還包含數(shù)據(jù)的標(biāo)準(zhǔn)代碼,其中強(qiáng)制性一致的是標(biāo)準(zhǔn)中的技術(shù)規(guī)范。 物理字段的落地衍生 對(duì)于一個(gè)標(biāo)準(zhǔn)落地的物理字段,如果語(yǔ)義本質(zhì)是相同的,并且業(yè)務(wù)規(guī)則沒(méi)有變化,不過(guò)滿足系統(tǒng)環(huán)境,而加上特定限定環(huán)境。比如“電話”在供應(yīng)商的表里叫“供應(yīng)商電話”,這是一種落地衍生情況,并不需要?jiǎng)?chuàng)建一個(gè)新的標(biāo)準(zhǔn)。 2)建立代碼的標(biāo)準(zhǔn)引用 對(duì)字段中的數(shù)據(jù)類型的引用進(jìn)行標(biāo)準(zhǔn)化,堅(jiān)決杜絕Comment里手工寫(xiě)枚舉代碼的情況。 3)標(biāo)準(zhǔn)化命名 在模型的開(kāi)發(fā)基本完成后,在系統(tǒng)的測(cè)試階段,我們加入模型的評(píng)審環(huán)節(jié),這個(gè)作為系統(tǒng)上線的前奏,避免上線前的修改造成時(shí)間緊張等情況。模型評(píng)審前需要?jiǎng)?chuàng)建模型基線,評(píng)審包含以下幾個(gè)內(nèi)容。 1)標(biāo)準(zhǔn)的落標(biāo)引用 模型工具應(yīng)該自動(dòng)提供報(bào)告,重點(diǎn)檢查是否有重要的標(biāo)準(zhǔn)沒(méi)有引用和落地,通過(guò)自動(dòng)化的工具,智能發(fā)現(xiàn)落標(biāo)的潛在問(wèn)題。 2)自定義標(biāo)準(zhǔn)與詞典的評(píng)審和轉(zhuǎn)化 DDM模型工具具備自定義數(shù)據(jù)標(biāo)準(zhǔn)和詞典等能力,通過(guò)與開(kāi)發(fā)團(tuán)隊(duì)評(píng)審,提高自定義標(biāo)準(zhǔn)的轉(zhuǎn)化率,完善標(biāo)準(zhǔn)庫(kù)。 3)元數(shù)據(jù)的充足率 模型工具應(yīng)該自動(dòng)提供報(bào)告,列出中文名稱沒(méi)有填寫(xiě)的字段。 4)其他模型質(zhì)量 比如檢查模型主題覆蓋率等。 一般情況下,系統(tǒng)的上線過(guò)程需要一個(gè)更加標(biāo)準(zhǔn)的流程,提交設(shè)計(jì)、文檔、測(cè)試報(bào)告、升級(jí)步驟等內(nèi)容,有專業(yè)的團(tuán)隊(duì)和流程工具來(lái)審核。在這個(gè)過(guò)程中,并不主張此環(huán)節(jié)進(jìn)行落標(biāo)的核準(zhǔn),因?yàn)榇谁h(huán)節(jié)已經(jīng)太晚,筆者推薦在評(píng)審環(huán)節(jié)完成落標(biāo)工作,在此環(huán)節(jié)中,只需要提交落標(biāo)和模型報(bào)告作為過(guò)審文檔。模型核準(zhǔn)環(huán)節(jié)包含以下幾個(gè)工作要做。 1)模型生產(chǎn)庫(kù)基線與封板 根據(jù)評(píng)審時(shí)建立的模型分支,建立模型的生產(chǎn)庫(kù)基線,并進(jìn)行封板操作。 2)模型基線報(bào)告 提供模型標(biāo)準(zhǔn)數(shù)據(jù)字典,標(biāo)準(zhǔn)落標(biāo)報(bào)告,模型質(zhì)量報(bào)告。 對(duì)于已經(jīng)發(fā)布的模型,隨著進(jìn)入維護(hù)期,某些升級(jí)的情況下,可能會(huì)有徒手修改庫(kù)表結(jié)構(gòu)的情況發(fā)生,為了保證模型與生產(chǎn)庫(kù)的一致,在自動(dòng)檢測(cè)階段,主要負(fù)責(zé)定期發(fā)現(xiàn)不一致的情況,并發(fā)出預(yù)警郵件,過(guò)程如下。 在實(shí)際落標(biāo)過(guò)程中,需要新增或修改標(biāo)準(zhǔn)的情況是必然出現(xiàn)的。因此在設(shè)計(jì)階段或者模型評(píng)審階段,進(jìn)行變更流程。 根據(jù)銀行當(dāng)前的組織結(jié)構(gòu),需要有建立“標(biāo)準(zhǔn)和架構(gòu)組”,至少2人編制,可以是虛擬組織結(jié)構(gòu)和兼職角色。 數(shù)據(jù)架構(gòu)師(1人),由企業(yè)資深(10+年數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn))數(shù)據(jù)設(shè)計(jì)人員或管理人員擔(dān)任,熟悉行業(yè)數(shù)據(jù)模型和企業(yè)主流業(yè)務(wù)邏輯模型,比較熟悉各系統(tǒng)模型情況。主要負(fù)責(zé)模型管控,落標(biāo)評(píng)審,模型質(zhì)量等工作。 標(biāo)準(zhǔn)管理員(1人),由高級(jí)(5+年數(shù)據(jù)管理經(jīng)驗(yàn))數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)和管理人員擔(dān)任,比較熟悉標(biāo)準(zhǔn)和企業(yè)業(yè)務(wù)邏輯模型。 主要負(fù)責(zé)標(biāo)準(zhǔn)維護(hù),標(biāo)準(zhǔn)評(píng)審,模型質(zhì)量提高等工作。 存量系統(tǒng)的落標(biāo)是很多企業(yè)進(jìn)行標(biāo)準(zhǔn)化第一障礙,前面也進(jìn)行了痛點(diǎn)分析,那么如何解決落標(biāo)問(wèn)題呢?筆者建議遵循以下方法。 1)存量系統(tǒng)先管理好數(shù)據(jù)模型和字典,這作為未來(lái)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)。 2)摸清模型存量系統(tǒng)不符標(biāo)準(zhǔn)的情況,尤其是那些標(biāo)準(zhǔn)代碼,編碼規(guī)則,存儲(chǔ)格式等嚴(yán)重影響數(shù)據(jù)指標(biāo)和拉通匯集的情況。 3)根據(jù)非標(biāo)問(wèn)題的影響程度,制定未來(lái)的落標(biāo)計(jì)劃,選擇合適的升級(jí)版本時(shí)機(jī),進(jìn)行逐項(xiàng)的落標(biāo)。 4)未落標(biāo)前,可以先落標(biāo)ODS層或API層,這樣可以糾正后期應(yīng)用的標(biāo)準(zhǔn)化問(wèn)題。 企業(yè)里存在多套標(biāo)準(zhǔn)是非常有可能的,比如一個(gè)客戶類型的代碼,原系統(tǒng)一套標(biāo)準(zhǔn),數(shù)倉(cāng)一套標(biāo)準(zhǔn),報(bào)送EAST模型可能又是一套標(biāo)準(zhǔn),那么怎么管理這多套標(biāo)準(zhǔn)呢? 1)建議對(duì)標(biāo)準(zhǔn)進(jìn)行有效范圍的定義,以明確每套標(biāo)準(zhǔn)的用途,比如原系統(tǒng)的標(biāo)準(zhǔn)作為地方標(biāo)準(zhǔn),數(shù)倉(cāng)的作為中央標(biāo)準(zhǔn),EAST模型的標(biāo)準(zhǔn)作為對(duì)外標(biāo)準(zhǔn)。 2)建立標(biāo)準(zhǔn)之間的映射管理,做好數(shù)據(jù)拉通的依據(jù)解決。這樣設(shè)計(jì)標(biāo)準(zhǔn)的維護(hù)和變更就可以重點(diǎn)選擇哪里進(jìn)行新增,以及如何進(jìn)行統(tǒng)一等。 三成功案例-中國(guó)人壽 我們?yōu)橹袊?guó)人壽提供的數(shù)據(jù)治理整體解決方案的重要組成部分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)。中國(guó)人壽在全國(guó)范圍內(nèi)有26個(gè)分支機(jī)構(gòu),為了保障公司級(jí)別系統(tǒng)的一致性和統(tǒng)一性,中國(guó)人壽采用Datablau的建模工具基于已有系統(tǒng)提取了基線模型并將標(biāo)準(zhǔn)落在數(shù)據(jù)模型的字段級(jí)別,并將實(shí)際的生產(chǎn)元數(shù)據(jù)跟基線模型綁定,每次系統(tǒng)發(fā)版通過(guò)比對(duì)功能發(fā)現(xiàn)生產(chǎn)系統(tǒng)與基線模型的差異,從而快速定位字段級(jí)差異并自動(dòng)發(fā)送差異報(bào)告通知相關(guān)干系人,整個(gè)過(guò)程無(wú)需太多人工干預(yù),治理效果直觀有效。 依托建模工具的數(shù)據(jù)標(biāo)準(zhǔn)的強(qiáng)落地也使得全公司范圍的數(shù)據(jù)標(biāo)準(zhǔn)推廣及實(shí)施得以順利進(jìn)行,各部門(mén)的數(shù)據(jù)標(biāo)準(zhǔn)都匯集到一處,由專人統(tǒng)一管理數(shù)據(jù)標(biāo)準(zhǔn)的開(kāi)發(fā),審核,發(fā)布以及撤銷的全生命周期,各部門(mén)只需從數(shù)據(jù)標(biāo)準(zhǔn)庫(kù)里面選取對(duì)應(yīng)的標(biāo)準(zhǔn)搭建數(shù)據(jù)模型。這種強(qiáng)管控的方式也使得數(shù)據(jù)標(biāo)準(zhǔn)的落地不再是紙上談兵。 王琤:北京數(shù)語(yǔ)科技有限公司(以下簡(jiǎn)稱“數(shù)語(yǔ)科技”)創(chuàng)始人兼CEO王琤曾任職erwin全球研發(fā)總監(jiān),擁有超過(guò)十年以上數(shù)據(jù)建模和數(shù)據(jù)管理的從業(yè)經(jīng)驗(yàn)。Datablau DDM數(shù)據(jù)建模產(chǎn)品和Datablau DAM數(shù)據(jù)資產(chǎn)管理平臺(tái)兩大部分組成,全部擁有軟件著作權(quán)和知識(shí)產(chǎn)權(quán),一站式全面滿足中國(guó)企業(yè)的數(shù)據(jù)治理需求。其中數(shù)據(jù)建模產(chǎn)品DDM是Datablau填補(bǔ)國(guó)內(nèi)空白的重量級(jí)產(chǎn)品,幫助中國(guó)客戶擺脫國(guó)外產(chǎn)品的壟斷現(xiàn)狀。聯(lián)系郵箱: sale@datablau.com。 聯(lián)系我們 |
|
來(lái)自: weiwarm > 《數(shù)據(jù)資產(chǎn)管理》