乡下人产国偷v产偷v自拍,国产午夜片在线观看,婷婷成人亚洲综合国产麻豆,久久综合给合久久狠狠狠9

  • <output id="e9wm2"></output>
    <s id="e9wm2"><nobr id="e9wm2"><ins id="e9wm2"></ins></nobr></s>

    • 分享

      從數(shù)據(jù)標(biāo)準(zhǔn)到數(shù)據(jù)庫(kù)設(shè)計(jì):解決基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)落地的最后一公里難題

       weiwarm 2019-01-11

      導(dǎo)語(yǔ)

      數(shù)據(jù)標(biāo)準(zhǔn)是指保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確性的規(guī)范性約束,建立數(shù)據(jù)標(biāo)準(zhǔn)容易,落標(biāo)難。本文通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的定義,落標(biāo)難點(diǎn)分析以及通過(guò)國(guó)內(nèi)外標(biāo)桿案例的講解和對(duì)落標(biāo)關(guān)鍵點(diǎn)剖析,系統(tǒng)的介紹數(shù)據(jù)標(biāo)準(zhǔn)通過(guò)模型驅(qū)動(dòng)的標(biāo)準(zhǔn)落標(biāo)整體方案,幫助企事業(yè)單位理解數(shù)據(jù)標(biāo)準(zhǔn)落地相關(guān)問(wèn)題。


      數(shù)據(jù)標(biāo)準(zhǔn)概述

      1.1
      數(shù)據(jù)標(biāo)準(zhǔn)定義

      數(shù)據(jù)是由特定的環(huán)境產(chǎn)生的,這些環(huán)境因素包括生產(chǎn)者、時(shí)間、系統(tǒng)等,這就造成了同一個(gè)語(yǔ)義的數(shù)據(jù),會(huì)有多種不同的定義方法,給后期進(jìn)行數(shù)據(jù)匯集和整合帶來(lái)障礙。因此,數(shù)據(jù)處理的前奏就是數(shù)據(jù)標(biāo)準(zhǔn)化,數(shù)據(jù)標(biāo)準(zhǔn)作為一個(gè)統(tǒng)一的數(shù)據(jù)共識(shí),在企業(yè)的標(biāo)準(zhǔn)化中起到重要作用。數(shù)據(jù)標(biāo)準(zhǔn)是指保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確性的規(guī)范性約束。數(shù)據(jù)標(biāo)準(zhǔn)一般包括下面幾個(gè),為了統(tǒng)一本文閱讀共識(shí),列出如下:

      1)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)這個(gè)標(biāo)準(zhǔn)是針對(duì)數(shù)據(jù)原始定義,一般面向原系統(tǒng)數(shù)據(jù)或ODS層數(shù)據(jù)。包括業(yè)務(wù)語(yǔ)義、管理標(biāo)準(zhǔn)、邏輯數(shù)據(jù)模型標(biāo)準(zhǔn)、物理數(shù)據(jù)模型標(biāo)準(zhǔn)、元數(shù)據(jù)標(biāo)準(zhǔn)、公共代碼標(biāo)準(zhǔn)、技術(shù)規(guī)范,質(zhì)量要求等。

      2)指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn),一般分為基礎(chǔ)指標(biāo)標(biāo)準(zhǔn)和計(jì)算指標(biāo)(又稱組合指標(biāo))標(biāo)準(zhǔn)?;A(chǔ)指標(biāo)一般不含維度信息,且具有特定業(yè)務(wù)和經(jīng)濟(jì)含義。計(jì)算指標(biāo)通常由兩個(gè)以上基礎(chǔ)指標(biāo)計(jì)算得出。這個(gè)標(biāo)準(zhǔn)針對(duì)衍生型數(shù)據(jù),一般面向集市層的報(bào)表等計(jì)算型數(shù)據(jù)。

      3)標(biāo)準(zhǔn)代碼,這個(gè)具體指數(shù)據(jù)標(biāo)準(zhǔn)中的枚舉值和語(yǔ)義,可以作為基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)的一部分,數(shù)據(jù)標(biāo)準(zhǔn)維度也是大部分來(lái)源于此。

      4)主數(shù)據(jù)標(biāo)準(zhǔn),這個(gè)特指主數(shù)據(jù)治理中的實(shí)體對(duì)象數(shù)據(jù)的唯一編碼和規(guī)則,比如物料主數(shù)據(jù)編碼。

      5)業(yè)務(wù)術(shù)語(yǔ)詞典,這個(gè)指企業(yè)數(shù)據(jù)定義過(guò)程中,從業(yè)務(wù)名詞到物理表和字段的標(biāo)準(zhǔn)化翻譯的詞根和詞素。

      6)其他規(guī)范,包括數(shù)據(jù)庫(kù)設(shè)計(jì)規(guī)范、元數(shù)據(jù)規(guī)范、模型規(guī)范等,具體可以在其他治理活動(dòng)下定義,也是廣義數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)的一部分。

      一般情況下,本文所述的數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)主要指:(1)基礎(chǔ)標(biāo)準(zhǔn)落標(biāo),(3)標(biāo)準(zhǔn)代碼落標(biāo),(5)命名標(biāo)準(zhǔn)落標(biāo)。指標(biāo)體系的落標(biāo)是由于在數(shù)據(jù)后期比較容易實(shí)現(xiàn),故不在重點(diǎn)討論中,主數(shù)據(jù)標(biāo)準(zhǔn)編碼則特定于主數(shù)據(jù)治理過(guò)程中實(shí)現(xiàn),不在此贅述。

      1.2
      落標(biāo)價(jià)值及意義

      數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)意義在于企業(yè)由此開(kāi)始進(jìn)行數(shù)據(jù)驅(qū)動(dòng)文化,開(kāi)始從源頭進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化生產(chǎn),加速數(shù)據(jù)的融合與統(tǒng)一的效率,節(jié)省大量數(shù)據(jù)應(yīng)用和處理的成本。數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)程度可以分為基本拉通型落標(biāo)和全局管控型落標(biāo)。

      基本拉通型落標(biāo)是指設(shè)計(jì)的數(shù)據(jù)元素符合數(shù)據(jù)標(biāo)準(zhǔn)的基本語(yǔ)義和業(yè)務(wù)規(guī)則,物理定義符合技術(shù)規(guī)范,具體數(shù)據(jù)語(yǔ)義可以進(jìn)行無(wú)規(guī)范的衍生。落標(biāo)范圍重點(diǎn)是核心業(yè)務(wù)系統(tǒng)的核心標(biāo)準(zhǔn)和交叉標(biāo)準(zhǔn),還有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的。這種類型適合中小銀行的上手階段,以及沒(méi)有重大系統(tǒng)升級(jí)機(jī)會(huì)的系統(tǒng),其核心目的是減少數(shù)據(jù)融合成本,加速數(shù)據(jù)消費(fèi)的效力,適合進(jìn)行數(shù)據(jù)化驅(qū)動(dòng)轉(zhuǎn)型的企業(yè)。

      全局管控型落標(biāo)是指設(shè)計(jì)的數(shù)據(jù)元素符合數(shù)據(jù)標(biāo)準(zhǔn)的基本語(yǔ)義和業(yè)務(wù)規(guī)則,物理定義符合技術(shù)規(guī)范,具體的物理數(shù)據(jù)語(yǔ)義需要進(jìn)行有規(guī)范的衍生,數(shù)據(jù)質(zhì)量需要落地為數(shù)據(jù)庫(kù)約束或者質(zhì)量驗(yàn)核規(guī)則。落標(biāo)范圍是核心業(yè)務(wù)系統(tǒng)和重點(diǎn)業(yè)務(wù)系統(tǒng),以及數(shù)據(jù)倉(cāng)庫(kù)等衍生系統(tǒng)。這種適合IT能力強(qiáng),數(shù)據(jù)基礎(chǔ)好的企業(yè),其核心目標(biāo)是掌控企業(yè)全局?jǐn)?shù)據(jù),做到數(shù)據(jù)快速迭代,適合致力于打造數(shù)據(jù)快速創(chuàng)新型企業(yè)。

      1.3
      落標(biāo)過(guò)程中的衍生

      數(shù)據(jù)在落標(biāo)過(guò)程中是可以進(jìn)行一定程度的數(shù)據(jù)語(yǔ)義衍生的,比如“電話號(hào)碼”衍生為“供應(yīng)商電話”,如果衍生的字段有確實(shí)的細(xì)化語(yǔ)義,或者其他業(yè)務(wù)要求,就需要也有一些數(shù)據(jù)標(biāo)準(zhǔn)需要定義為子類標(biāo)準(zhǔn)或者同義標(biāo)準(zhǔn)。

      子類標(biāo)準(zhǔn)

      當(dāng)一類數(shù)據(jù)標(biāo)準(zhǔn)有進(jìn)行細(xì)化的必要,并帶來(lái)特定的語(yǔ)義和業(yè)務(wù)規(guī)則,就需要在原有標(biāo)準(zhǔn)上進(jìn)行衍生。比如“電話“衍生為”手機(jī)“和“座機(jī)“,這是因?yàn)檫@兩類衍生標(biāo)準(zhǔn)帶來(lái)不同的業(yè)務(wù)屬性,不同的數(shù)據(jù)格式,以及不同質(zhì)量檢查規(guī)則。

      也有一些可以不進(jìn)行標(biāo)準(zhǔn)級(jí)別的衍生,比如“姓名“,具體語(yǔ)義的設(shè)計(jì)可能是“客戶姓名”和“供應(yīng)商姓名“,這兩個(gè)衍生可以不作為子類標(biāo)準(zhǔn)制定,這是因?yàn)闃I(yè)務(wù)語(yǔ)義是因?yàn)閿?shù)據(jù)所在的語(yǔ)義環(huán)境變化,本質(zhì)并沒(méi)有不同。

      同義詞

      同一類語(yǔ)義標(biāo)準(zhǔn),在不同的業(yè)務(wù)口徑中或者不同的人群中,會(huì)有不同的名詞,比如保單號(hào)和保單代碼是同一語(yǔ)義的名詞。這時(shí)候需要將兩者定義為同義詞,并在每一個(gè)定義時(shí),標(biāo)注清楚使用語(yǔ)境。

      1.4
      落標(biāo)難點(diǎn)分析

      我國(guó)企事業(yè)單位的數(shù)據(jù)治理已經(jīng)開(kāi)展十幾年,在有數(shù)據(jù)監(jiān)管驅(qū)動(dòng)和自身數(shù)據(jù)價(jià)值挖掘的驅(qū)動(dòng)下,大部分行已經(jīng)進(jìn)行了數(shù)據(jù)標(biāo)準(zhǔn)框架定義和梳理,發(fā)布了各個(gè)板塊的數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)文件,有的甚至落實(shí)了數(shù)據(jù)標(biāo)準(zhǔn)流程和人員角色,然而數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)在大部分普通銀行仍然不是很理想。現(xiàn)在數(shù)據(jù)標(biāo)準(zhǔn)梳理和發(fā)布是比較容易的事情,各咨詢廠商手里也積攢了大量各個(gè)行積累的數(shù)據(jù)標(biāo)準(zhǔn),可以比較全面的提交給各個(gè)銀行,可是落標(biāo)不理想的原因筆者認(rèn)為有以下幾個(gè)問(wèn)題:

      1)存量數(shù)據(jù)大,積重難返

      根據(jù)破窗常理,沒(méi)人在乎再多一塊破窗戶。數(shù)據(jù)業(yè)務(wù)系統(tǒng)絕大部分已經(jīng)建設(shè)完成,木已成舟,不標(biāo)準(zhǔn)也沒(méi)法修改了。

      2)開(kāi)發(fā)設(shè)計(jì)規(guī)范不重視

      開(kāi)發(fā)團(tuán)隊(duì)的責(zé)任和考核點(diǎn)主要是系統(tǒng)上線,支撐業(yè)務(wù),在開(kāi)發(fā)團(tuán)隊(duì)的很多人看來(lái),數(shù)據(jù)標(biāo)準(zhǔn)化的設(shè)計(jì)是一個(gè)可選項(xiàng),影響上線時(shí)間才是大事。

      3)標(biāo)準(zhǔn)落標(biāo)不方便,影響效率

      很多家咨詢公司的數(shù)據(jù)標(biāo)準(zhǔn),技術(shù)規(guī)范普遍缺失。這說(shuō)明標(biāo)準(zhǔn)開(kāi)始就沒(méi)有認(rèn)真考慮落標(biāo)問(wèn)題,這就造成落標(biāo)很不方便,先在Excel里查找,再手工拷貝,再類型翻譯,確實(shí)影響效率。

      4)監(jiān)管與激勵(lì)缺失,落與不落都一樣

      現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)和字典中,落標(biāo)與不落標(biāo)是沒(méi)有量化跟蹤的,這直接造成激勵(lì)與認(rèn)責(zé)無(wú)法落地執(zhí)行。

      5)人力與關(guān)注點(diǎn)缺失,沒(méi)人管

      普通銀行并不像四大行那樣人財(cái)雄厚,數(shù)據(jù)治理工作普遍是3-4個(gè)人兼職完成,日常被大部分其他工作排滿,不可能把這項(xiàng)工作量化起來(lái),也無(wú)從著手。

      國(guó)內(nèi)外落標(biāo)案例介紹

      為了認(rèn)真的研究這個(gè)命題,筆者決定調(diào)查幾個(gè)國(guó)內(nèi)落標(biāo)的典型案例,看看能從中學(xué)習(xí)點(diǎn)什么。調(diào)查從總體看思路,細(xì)節(jié)不符之處在所難免,望讀者不吝指出共同完善。

      2.1
      國(guó)內(nèi)企業(yè)落標(biāo)典型案例

      建設(shè)銀行從2014年新一代項(xiàng)目時(shí),開(kāi)始大力度的進(jìn)行徹底的和全方位的數(shù)據(jù)標(biāo)準(zhǔn)落地工程。建行師從IBM的四層模型法,通過(guò)九大銀行業(yè)概念設(shè)計(jì)了企業(yè)級(jí)邏輯模型,依托于此企業(yè)級(jí)邏輯模型,打造了企業(yè)級(jí)數(shù)據(jù)字典。通過(guò)設(shè)立數(shù)據(jù)標(biāo)準(zhǔn)處和架構(gòu)處,進(jìn)行了流程和規(guī)范管制,進(jìn)行強(qiáng)力度的模型和數(shù)據(jù)的落標(biāo)管理。具體請(qǐng)看筆者畫(huà)的一個(gè)示意圖。

                                                    

      建行落標(biāo)示意圖

      從示意圖看出,建行采用了源頭控制的方法,基于建行的得天獨(dú)厚的邏輯模型優(yōu)勢(shì),打造了一個(gè)企業(yè)級(jí)的數(shù)據(jù)字典,由于業(yè)務(wù)系統(tǒng)從C模型繼承開(kāi)發(fā),所以存量問(wèn)題基本得到解決。

      從模型開(kāi)發(fā)設(shè)計(jì)階段開(kāi)始,模型團(tuán)隊(duì)就要根據(jù)現(xiàn)有標(biāo)準(zhǔn)進(jìn)行落標(biāo)的設(shè)計(jì),溝通方式可以是電話或郵件,通過(guò)長(zhǎng)期工作,效率基本不影響開(kāi)發(fā)進(jìn)度。缺失的標(biāo)準(zhǔn)通過(guò)標(biāo)準(zhǔn)組來(lái)進(jìn)行更改和維護(hù)。

      測(cè)試階段,需要提交數(shù)據(jù)字典映射到企業(yè)級(jí)數(shù)據(jù)字典,每一個(gè)新數(shù)據(jù)項(xiàng)的增加都可以說(shuō)明這是或者不是標(biāo)準(zhǔn),都會(huì)記錄在案。

      核檢階段,現(xiàn)在主要是送數(shù)過(guò)程中進(jìn)行檢查,不通過(guò)將不能向后臺(tái)送數(shù)。近期要進(jìn)行上線核檢,提高落標(biāo)的早期檢查力度。

      2.2
      國(guó)外企業(yè)落標(biāo)概況

      作為Erwin的開(kāi)發(fā)者,在外企的數(shù)據(jù)管理領(lǐng)域工作多年,對(duì)國(guó)外數(shù)據(jù)管理有較多認(rèn)識(shí),接觸過(guò)很多國(guó)外銀行業(yè)客戶,如SunTrust、蘇格蘭皇家銀行、citibank等。今年5月份有幸參加了國(guó)外的EDW大會(huì),筆者發(fā)現(xiàn)國(guó)外確實(shí)數(shù)據(jù)發(fā)展階段與我國(guó)有很大不同。

      國(guó)外普遍比較重視數(shù)據(jù)建模工作,業(yè)務(wù)系統(tǒng)成熟多年,數(shù)據(jù)的修改全部由模型工具控制。會(huì)有專業(yè)的建模師和架構(gòu)師來(lái)貫徹落標(biāo)工作,同時(shí),模型工具也已經(jīng)標(biāo)準(zhǔn)化和全局推廣了,在EDW大會(huì)上很少聽(tīng)到討論落標(biāo)的話題,在他們的意識(shí)里,落標(biāo)已經(jīng)固化在建模過(guò)程中完成,甚至元數(shù)據(jù)管理也較少話題,因?yàn)橐惨呀?jīng)成為廣泛共識(shí)。相反,他們非常多的談的是Business Glossary,國(guó)內(nèi)卻很少提及。

      總結(jié)一下,國(guó)外的系統(tǒng)建設(shè)期,因?yàn)樵诮@碚摵拖到y(tǒng)化設(shè)計(jì)思維方面的優(yōu)勢(shì),再加上企業(yè)管理制度的方面比較成熟,銀行業(yè)的數(shù)據(jù)建模工具的使用率非常高,使得數(shù)據(jù)的早期落標(biāo)得到較徹底的執(zhí)行,同時(shí),早期的數(shù)據(jù)標(biāo)準(zhǔn)問(wèn)題也基本到現(xiàn)在有了成熟的解決路徑。

      2.3
      落標(biāo)關(guān)鍵點(diǎn)剖析

      根據(jù)筆者的經(jīng)驗(yàn)與實(shí)踐,數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)需要重點(diǎn)考慮以下三大問(wèn)題:

      問(wèn)題1:什么數(shù)據(jù)需要制定哪些標(biāo)準(zhǔn)?

      問(wèn)題2:什么系統(tǒng)落什么標(biāo)準(zhǔn)?

      問(wèn)題3:什么人與什么時(shí)間執(zhí)行?

      如果這三個(gè)問(wèn)題沒(méi)有想清楚,基本數(shù)據(jù)標(biāo)準(zhǔn)的梳理會(huì)停留在Excel層面,標(biāo)準(zhǔn)的政策會(huì)停留在墻上,無(wú)法走入每個(gè)設(shè)計(jì)者的頭腦和每個(gè)系統(tǒng)的每個(gè)字段。

      先來(lái)說(shuō)第一個(gè)問(wèn)題,什么數(shù)據(jù)需要制定標(biāo)準(zhǔn)?首先回到數(shù)據(jù)標(biāo)準(zhǔn)所要解決問(wèn)題的初衷,數(shù)據(jù)標(biāo)準(zhǔn)主要解決數(shù)據(jù)在共享、融合、匯集應(yīng)用中的不一致問(wèn)題。好的,那么看看哪些數(shù)據(jù)會(huì)出現(xiàn)在這個(gè)這三個(gè)環(huán)節(jié)中,以及哪些容易出現(xiàn)問(wèn)題。

      對(duì)于與一個(gè)企事業(yè)組織來(lái)說(shuō),按照價(jià)值鏈,一般關(guān)注三大要素:客戶、產(chǎn)品、大運(yùn)營(yíng)。IBM和TD將銀行業(yè)劃分為九大概念數(shù)據(jù),也是圍繞客戶與產(chǎn)品的大運(yùn)營(yíng)活動(dòng)細(xì)分。那么有如下幾類數(shù)據(jù)會(huì)在數(shù)據(jù)應(yīng)用過(guò)程中,會(huì)更多出現(xiàn)融合和匯總的機(jī)會(huì),需要格外注意。

      表1 數(shù)據(jù)類型及范例表

      序號(hào)

      數(shù)據(jù)類型

      示例

      1

      基礎(chǔ)通用型數(shù)據(jù)

      國(guó)家通用標(biāo)準(zhǔn)、行業(yè)通用標(biāo)準(zhǔn)、企業(yè)基礎(chǔ)標(biāo)準(zhǔn)等

      2

      主數(shù)據(jù)類數(shù)據(jù)

      客戶、產(chǎn)品、渠道等主要經(jīng)營(yíng)數(shù)據(jù)

      3

      類型和維度類數(shù)據(jù)

      分類碼、標(biāo)準(zhǔn)碼、維度碼等

      4

      報(bào)送類數(shù)據(jù)

      報(bào)送類模型和數(shù)據(jù)

      第二個(gè)問(wèn)題和第三個(gè)問(wèn)題是實(shí)際工作中非常困擾的,落標(biāo)的大多數(shù)困難與此有關(guān),因此放在一起來(lái)說(shuō)明,筆者將系統(tǒng)與數(shù)據(jù)分列如下列表所示。

      表2 系統(tǒng)與數(shù)據(jù)落標(biāo)時(shí)機(jī)選擇表

      系統(tǒng)

      落標(biāo)強(qiáng)度

      剖析

      負(fù)責(zé)人

      時(shí)機(jī)選擇

      核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)

      強(qiáng)

      核心系統(tǒng)存儲(chǔ)了企業(yè)經(jīng)營(yíng)最核心的數(shù)據(jù),數(shù)據(jù)標(biāo)準(zhǔn)可以從核心系統(tǒng)定義中梳理,核心系統(tǒng)的數(shù)據(jù)的標(biāo)準(zhǔn)化會(huì)直接影響下游系統(tǒng),數(shù)據(jù)流動(dòng)鏈很長(zhǎng)而系統(tǒng)改動(dòng)難。因此盡量促成“我就是標(biāo)準(zhǔn)“這件事

      開(kāi)發(fā)團(tuán)隊(duì)或套裝開(kāi)發(fā)商

      1.建設(shè)期強(qiáng)落標(biāo)
      2.維護(hù)期謹(jǐn)慎落標(biāo)

      重要業(yè)務(wù)系統(tǒng)數(shù)據(jù)

      重要系統(tǒng)存儲(chǔ)了核心系統(tǒng)的補(bǔ)充數(shù)據(jù),重點(diǎn)是標(biāo)準(zhǔn)要與核心對(duì)齊

      開(kāi)發(fā)團(tuán)隊(duì)或套裝開(kāi)發(fā)商

      1.建設(shè)期強(qiáng)落標(biāo)
      2.維護(hù)期謹(jǐn)慎落標(biāo)

      一般系統(tǒng)數(shù)據(jù)

      一般系統(tǒng)適合采用拉通型落標(biāo),重點(diǎn)在一些核心數(shù)據(jù)引用和類型類數(shù)據(jù)

      開(kāi)發(fā)團(tuán)隊(duì)或套裝開(kāi)發(fā)商

      1.建設(shè)期選擇重點(diǎn)落標(biāo)
        2.維護(hù)期可以不落標(biāo)

      報(bào)送和對(duì)外共享數(shù)據(jù)

      強(qiáng)

      遵從報(bào)送標(biāo)準(zhǔn),和共享標(biāo)準(zhǔn)

      報(bào)送團(tuán)隊(duì)

      遵從報(bào)送和共享標(biāo)準(zhǔn)

      DW初始匯集層

      強(qiáng)

      一般企業(yè)落標(biāo)最容易著手之處,數(shù)據(jù)需要進(jìn)行模型建模,匯集落標(biāo),需要進(jìn)行ETL數(shù)據(jù)處理

      數(shù)倉(cāng)團(tuán)隊(duì)

      盡早進(jìn)行管控型強(qiáng)落標(biāo)

      DW匯總層數(shù)據(jù)

      強(qiáng)

      如果沒(méi)有初始匯集層,可以在此針對(duì)具體主題進(jìn)行落標(biāo),需要進(jìn)行ETL數(shù)據(jù)處理

      數(shù)倉(cāng)團(tuán)隊(duì)

      全局規(guī)劃后,應(yīng)用開(kāi)發(fā)時(shí)

      Mart集市與報(bào)表數(shù)據(jù)

      強(qiáng)

      主要參照落標(biāo)指標(biāo)體系和維度體系,匯集落標(biāo),需要進(jìn)行ETL數(shù)據(jù)處理

      報(bào)表團(tuán)隊(duì)

      每一次開(kāi)發(fā)時(shí)

      通過(guò)這個(gè)表格的內(nèi)容,不難看出數(shù)據(jù)標(biāo)準(zhǔn)從源頭落地,會(huì)減少數(shù)據(jù)的處理成本,提高數(shù)據(jù)應(yīng)用的效益,缺點(diǎn)是對(duì)于存量系統(tǒng)和外購(gòu)系統(tǒng)存在較大改動(dòng)風(fēng)險(xiǎn)和成本。如果從數(shù)據(jù)的倉(cāng)庫(kù)層進(jìn)行落標(biāo),比較容易著手處理,落標(biāo)后的下游數(shù)據(jù)系統(tǒng)則自動(dòng)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),然而數(shù)倉(cāng)層的報(bào)表應(yīng)用與業(yè)務(wù)系統(tǒng)的報(bào)表存在口徑不一致性在所難免,仍然需要源數(shù)據(jù)層進(jìn)行必要調(diào)整。無(wú)論從哪一層入手,模型的優(yōu)良設(shè)計(jì)環(huán)節(jié)都是必要條件,否則整個(gè)落標(biāo)過(guò)程會(huì)沒(méi)有抓手,流程也不順暢。

      2.4
      落標(biāo)整體方案

      無(wú)論是原系統(tǒng)數(shù)據(jù)還是數(shù)倉(cāng)數(shù)據(jù),都是不同的開(kāi)發(fā)團(tuán)隊(duì)負(fù)責(zé),遵循軟件開(kāi)發(fā)標(biāo)準(zhǔn)的流程包括設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、上線、維護(hù)等環(huán)節(jié),因此我們需要在這個(gè)過(guò)程中,將數(shù)據(jù)標(biāo)準(zhǔn)這個(gè)優(yōu)良的炮彈送到最前線,同時(shí),管理團(tuán)隊(duì)需要參與這個(gè)過(guò)程的關(guān)鍵節(jié)點(diǎn)中,這需要企業(yè)在數(shù)據(jù)管理上提高管理和執(zhí)行水平。

      鑒于企業(yè)當(dāng)前的數(shù)據(jù)基礎(chǔ)水平,數(shù)據(jù)的落標(biāo)同樣受到人力和財(cái)力的制約,所以一個(gè)自動(dòng)化水平非常高的落標(biāo)方案是非常切合我國(guó)普通銀行的發(fā)展階段的。因此,落標(biāo)方案的關(guān)鍵思想是在開(kāi)發(fā)階段由模型設(shè)計(jì)人員進(jìn)行落標(biāo),標(biāo)準(zhǔn)管理和架構(gòu)管理人員進(jìn)行評(píng)審和核準(zhǔn),同時(shí),自動(dòng)檢測(cè)能力來(lái)提高執(zhí)行水平和激勵(lì)環(huán)節(jié)的落地。


      自動(dòng)化落標(biāo)方案


      2.4.1
      標(biāo)準(zhǔn)的定位

      這里主要是在系統(tǒng)的需求設(shè)計(jì)和準(zhǔn)備過(guò)程中,對(duì)數(shù)據(jù)標(biāo)準(zhǔn)需要準(zhǔn)備好一些前提條件。

      1)標(biāo)準(zhǔn)的技術(shù)規(guī)范已經(jīng)準(zhǔn)備好

      數(shù)據(jù)標(biāo)準(zhǔn)已經(jīng)具有詳細(xì)的技術(shù)規(guī)范,包括物理數(shù)據(jù)類型,可以直接應(yīng)用的物理層上,并已經(jīng)準(zhǔn)備好邏輯數(shù)據(jù)類型到不同數(shù)據(jù)庫(kù)的類型映射。這里數(shù)據(jù)類型在DDM中是邏輯數(shù)據(jù)類型,具備自動(dòng)類型轉(zhuǎn)換能力。

      2)標(biāo)準(zhǔn)的主題已經(jīng)準(zhǔn)備好

      標(biāo)準(zhǔn)的主題其實(shí)是標(biāo)準(zhǔn)的應(yīng)用范圍和檢索目錄,對(duì)于具備條件的銀行應(yīng)該設(shè)計(jì)出邏輯模型,對(duì)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行業(yè)務(wù)組織。這樣在落標(biāo)過(guò)程中,這是重要的選擇依據(jù)。

      3)標(biāo)準(zhǔn)已經(jīng)權(quán)威發(fā)布

      標(biāo)準(zhǔn)已經(jīng)經(jīng)過(guò)討論,進(jìn)行了公開(kāi)發(fā)布,具有流程上的正式性和權(quán)威性。

      2.4.2
      模型設(shè)計(jì)中的落標(biāo)

      數(shù)據(jù)模型是一個(gè)更好的數(shù)據(jù)字典,其向上承接業(yè)務(wù)語(yǔ)義,向下實(shí)現(xiàn)物理數(shù)據(jù),它不但包含了數(shù)據(jù)字典,更重要的是包含了業(yè)務(wù)的主題、業(yè)務(wù)主對(duì)象、數(shù)據(jù)關(guān)系以及數(shù)據(jù)標(biāo)準(zhǔn)的映射。所以模型及其工具的運(yùn)用不但是企業(yè)數(shù)據(jù)管理是否成熟的重要標(biāo)志,也是數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)的重要依托。不進(jìn)行模型設(shè)計(jì)和管理,落標(biāo)操作則事倍功半,因?yàn)槭チ斯芾淼淖罴褧r(shí)機(jī)。通過(guò)創(chuàng)新一個(gè)模型工具,在開(kāi)發(fā)階段,自動(dòng)管理數(shù)據(jù)字典和模型,實(shí)現(xiàn)下面三個(gè)落標(biāo)操作。

      1)建立標(biāo)準(zhǔn)和數(shù)據(jù)的映射

      標(biāo)準(zhǔn)落地的屬性繼承

      一般情況下,數(shù)據(jù)字段落地標(biāo)準(zhǔn)時(shí)要引用標(biāo)準(zhǔn)中上述內(nèi)容,另還包含數(shù)據(jù)的標(biāo)準(zhǔn)代碼,其中強(qiáng)制性一致的是標(biāo)準(zhǔn)中的技術(shù)規(guī)范。

      物理字段的落地衍生

      對(duì)于一個(gè)標(biāo)準(zhǔn)落地的物理字段,如果語(yǔ)義本質(zhì)是相同的,并且業(yè)務(wù)規(guī)則沒(méi)有變化,不過(guò)滿足系統(tǒng)環(huán)境,而加上特定限定環(huán)境。比如“電話”在供應(yīng)商的表里叫“供應(yīng)商電話”,這是一種落地衍生情況,并不需要?jiǎng)?chuàng)建一個(gè)新的標(biāo)準(zhǔn)。

      2)建立代碼的標(biāo)準(zhǔn)引用

      對(duì)字段中的數(shù)據(jù)類型的引用進(jìn)行標(biāo)準(zhǔn)化,堅(jiān)決杜絕Comment里手工寫(xiě)枚舉代碼的情況。

      3)標(biāo)準(zhǔn)化命名

      2.4.3
      模型的評(píng)審

      在模型的開(kāi)發(fā)基本完成后,在系統(tǒng)的測(cè)試階段,我們加入模型的評(píng)審環(huán)節(jié),這個(gè)作為系統(tǒng)上線的前奏,避免上線前的修改造成時(shí)間緊張等情況。模型評(píng)審前需要?jiǎng)?chuàng)建模型基線,評(píng)審包含以下幾個(gè)內(nèi)容。

      1)標(biāo)準(zhǔn)的落標(biāo)引用

      模型工具應(yīng)該自動(dòng)提供報(bào)告,重點(diǎn)檢查是否有重要的標(biāo)準(zhǔn)沒(méi)有引用和落地,通過(guò)自動(dòng)化的工具,智能發(fā)現(xiàn)落標(biāo)的潛在問(wèn)題。

      2)自定義標(biāo)準(zhǔn)與詞典的評(píng)審和轉(zhuǎn)化

      DDM模型工具具備自定義數(shù)據(jù)標(biāo)準(zhǔn)和詞典等能力,通過(guò)與開(kāi)發(fā)團(tuán)隊(duì)評(píng)審,提高自定義標(biāo)準(zhǔn)的轉(zhuǎn)化率,完善標(biāo)準(zhǔn)庫(kù)。

      3)元數(shù)據(jù)的充足率

      模型工具應(yīng)該自動(dòng)提供報(bào)告,列出中文名稱沒(méi)有填寫(xiě)的字段。

      4)其他模型質(zhì)量

      比如檢查模型主題覆蓋率等。

      2.4.4
      上線的核準(zhǔn)

      一般情況下,系統(tǒng)的上線過(guò)程需要一個(gè)更加標(biāo)準(zhǔn)的流程,提交設(shè)計(jì)、文檔、測(cè)試報(bào)告、升級(jí)步驟等內(nèi)容,有專業(yè)的團(tuán)隊(duì)和流程工具來(lái)審核。在這個(gè)過(guò)程中,并不主張此環(huán)節(jié)進(jìn)行落標(biāo)的核準(zhǔn),因?yàn)榇谁h(huán)節(jié)已經(jīng)太晚,筆者推薦在評(píng)審環(huán)節(jié)完成落標(biāo)工作,在此環(huán)節(jié)中,只需要提交落標(biāo)和模型報(bào)告作為過(guò)審文檔。模型核準(zhǔn)環(huán)節(jié)包含以下幾個(gè)工作要做。

      1)模型生產(chǎn)庫(kù)基線與封板

      根據(jù)評(píng)審時(shí)建立的模型分支,建立模型的生產(chǎn)庫(kù)基線,并進(jìn)行封板操作。

      2)模型基線報(bào)告

      提供模型標(biāo)準(zhǔn)數(shù)據(jù)字典,標(biāo)準(zhǔn)落標(biāo)報(bào)告,模型質(zhì)量報(bào)告。

      2.4.5
      自動(dòng)監(jiān)測(cè)變化

      對(duì)于已經(jīng)發(fā)布的模型,隨著進(jìn)入維護(hù)期,某些升級(jí)的情況下,可能會(huì)有徒手修改庫(kù)表結(jié)構(gòu)的情況發(fā)生,為了保證模型與生產(chǎn)庫(kù)的一致,在自動(dòng)檢測(cè)階段,主要負(fù)責(zé)定期發(fā)現(xiàn)不一致的情況,并發(fā)出預(yù)警郵件,過(guò)程如下。

      2.5
      新增和變更流程

      在實(shí)際落標(biāo)過(guò)程中,需要新增或修改標(biāo)準(zhǔn)的情況是必然出現(xiàn)的。因此在設(shè)計(jì)階段或者模型評(píng)審階段,進(jìn)行變更流程。

      2.6
      角色與人力安排

      根據(jù)銀行當(dāng)前的組織結(jié)構(gòu),需要有建立“標(biāo)準(zhǔn)和架構(gòu)組”,至少2人編制,可以是虛擬組織結(jié)構(gòu)和兼職角色。

      數(shù)據(jù)架構(gòu)師(1人),由企業(yè)資深(10+年數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn))數(shù)據(jù)設(shè)計(jì)人員或管理人員擔(dān)任,熟悉行業(yè)數(shù)據(jù)模型和企業(yè)主流業(yè)務(wù)邏輯模型,比較熟悉各系統(tǒng)模型情況。主要負(fù)責(zé)模型管控,落標(biāo)評(píng)審,模型質(zhì)量等工作。

      標(biāo)準(zhǔn)管理員(1人),由高級(jí)(5+年數(shù)據(jù)管理經(jīng)驗(yàn))數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)和管理人員擔(dān)任,比較熟悉標(biāo)準(zhǔn)和企業(yè)業(yè)務(wù)邏輯模型。 主要負(fù)責(zé)標(biāo)準(zhǔn)維護(hù),標(biāo)準(zhǔn)評(píng)審,模型質(zhì)量提高等工作。

      2.7
      存量數(shù)據(jù)如何落標(biāo)

      存量系統(tǒng)的落標(biāo)是很多企業(yè)進(jìn)行標(biāo)準(zhǔn)化第一障礙,前面也進(jìn)行了痛點(diǎn)分析,那么如何解決落標(biāo)問(wèn)題呢?筆者建議遵循以下方法。

      1)存量系統(tǒng)先管理好數(shù)據(jù)模型和字典,這作為未來(lái)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)。

      2)摸清模型存量系統(tǒng)不符標(biāo)準(zhǔn)的情況,尤其是那些標(biāo)準(zhǔn)代碼,編碼規(guī)則,存儲(chǔ)格式等嚴(yán)重影響數(shù)據(jù)指標(biāo)和拉通匯集的情況。

      3)根據(jù)非標(biāo)問(wèn)題的影響程度,制定未來(lái)的落標(biāo)計(jì)劃,選擇合適的升級(jí)版本時(shí)機(jī),進(jìn)行逐項(xiàng)的落標(biāo)。

      4)未落標(biāo)前,可以先落標(biāo)ODS層或API層,這樣可以糾正后期應(yīng)用的標(biāo)準(zhǔn)化問(wèn)題。

      2.8
      標(biāo)準(zhǔn)代碼的多標(biāo)準(zhǔn)處理

      企業(yè)里存在多套標(biāo)準(zhǔn)是非常有可能的,比如一個(gè)客戶類型的代碼,原系統(tǒng)一套標(biāo)準(zhǔn),數(shù)倉(cāng)一套標(biāo)準(zhǔn),報(bào)送EAST模型可能又是一套標(biāo)準(zhǔn),那么怎么管理這多套標(biāo)準(zhǔn)呢?

      1)建議對(duì)標(biāo)準(zhǔn)進(jìn)行有效范圍的定義,以明確每套標(biāo)準(zhǔn)的用途,比如原系統(tǒng)的標(biāo)準(zhǔn)作為地方標(biāo)準(zhǔn),數(shù)倉(cāng)的作為中央標(biāo)準(zhǔn),EAST模型的標(biāo)準(zhǔn)作為對(duì)外標(biāo)準(zhǔn)。

      2)建立標(biāo)準(zhǔn)之間的映射管理,做好數(shù)據(jù)拉通的依據(jù)解決。這樣設(shè)計(jì)標(biāo)準(zhǔn)的維護(hù)和變更就可以重點(diǎn)選擇哪里進(jìn)行新增,以及如何進(jìn)行統(tǒng)一等。

      成功案例-中國(guó)人壽

      我們?yōu)橹袊?guó)人壽提供的數(shù)據(jù)治理整體解決方案的重要組成部分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)。中國(guó)人壽在全國(guó)范圍內(nèi)有26個(gè)分支機(jī)構(gòu),為了保障公司級(jí)別系統(tǒng)的一致性和統(tǒng)一性,中國(guó)人壽采用Datablau的建模工具基于已有系統(tǒng)提取了基線模型并將標(biāo)準(zhǔn)落在數(shù)據(jù)模型的字段級(jí)別,并將實(shí)際的生產(chǎn)元數(shù)據(jù)跟基線模型綁定,每次系統(tǒng)發(fā)版通過(guò)比對(duì)功能發(fā)現(xiàn)生產(chǎn)系統(tǒng)與基線模型的差異,從而快速定位字段級(jí)差異并自動(dòng)發(fā)送差異報(bào)告通知相關(guān)干系人,整個(gè)過(guò)程無(wú)需太多人工干預(yù),治理效果直觀有效。

      依托建模工具的數(shù)據(jù)標(biāo)準(zhǔn)的強(qiáng)落地也使得全公司范圍的數(shù)據(jù)標(biāo)準(zhǔn)推廣及實(shí)施得以順利進(jìn)行,各部門(mén)的數(shù)據(jù)標(biāo)準(zhǔn)都匯集到一處,由專人統(tǒng)一管理數(shù)據(jù)標(biāo)準(zhǔn)的開(kāi)發(fā),審核,發(fā)布以及撤銷的全生命周期,各部門(mén)只需從數(shù)據(jù)標(biāo)準(zhǔn)庫(kù)里面選取對(duì)應(yīng)的標(biāo)準(zhǔn)搭建數(shù)據(jù)模型。這種強(qiáng)管控的方式也使得數(shù)據(jù)標(biāo)準(zhǔn)的落地不再是紙上談兵。

      作者簡(jiǎn)介

      王琤:北京數(shù)語(yǔ)科技有限公司(以下簡(jiǎn)稱“數(shù)語(yǔ)科技”)創(chuàng)始人兼CEO王琤曾任職erwin全球研發(fā)總監(jiān),擁有超過(guò)十年以上數(shù)據(jù)建模和數(shù)據(jù)管理的從業(yè)經(jīng)驗(yàn)。Datablau DDM數(shù)據(jù)建模產(chǎn)品和Datablau DAM數(shù)據(jù)資產(chǎn)管理平臺(tái)兩大部分組成,全部擁有軟件著作權(quán)和知識(shí)產(chǎn)權(quán),一站式全面滿足中國(guó)企業(yè)的數(shù)據(jù)治理需求。其中數(shù)據(jù)建模產(chǎn)品DDM是Datablau填補(bǔ)國(guó)內(nèi)空白的重量級(jí)產(chǎn)品,幫助中國(guó)客戶擺脫國(guó)外產(chǎn)品的壟斷現(xiàn)狀。聯(lián)系郵箱: sale@datablau.com。


      聯(lián)系我們

        本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
        轉(zhuǎn)藏 分享 獻(xiàn)花(0

        0條評(píng)論

        發(fā)表

        請(qǐng)遵守用戶 評(píng)論公約

        類似文章 更多