文 | 樂(lè)天

編輯 | 劉能 碳酸

本文約 3209 字，預(yù)計(jì)閱讀時(shí)間 9 分鐘

作者簡(jiǎn)介：蔣珍波（樂(lè)天），6 年+ 大數(shù)據(jù)咨詢經(jīng)驗(yàn)，擅長(zhǎng)為客戶提供科學(xué)合理的大數(shù)據(jù)解決方案。目前擔(dān)任數(shù)瀾科技咨詢專(zhuān)家，負(fù)責(zé)數(shù)瀾大數(shù)據(jù)平臺(tái)售前咨詢。

本文主要講述數(shù)據(jù)治理中的重要工作：數(shù)據(jù)質(zhì)量管理，從以下幾個(gè)角度展開(kāi)具體講解：

（1）數(shù)據(jù)質(zhì)量管理的目標(biāo)

（2）質(zhì)量問(wèn)題產(chǎn)生的根源

（3）數(shù)據(jù)質(zhì)量的評(píng)估

（4）數(shù)據(jù)質(zhì)量管理的流程

（5）數(shù)據(jù)質(zhì)量管理的取舍

一、數(shù)據(jù)質(zhì)量管理的目標(biāo)

數(shù)據(jù)質(zhì)量管理主要解決「數(shù)據(jù)質(zhì)量現(xiàn)狀如何，誰(shuí)來(lái)改進(jìn)，如何提高，怎樣考核」的問(wèn)題。

「不忘初心方得始終」，在最開(kāi)始的關(guān)系型數(shù)據(jù)庫(kù)時(shí)代，做數(shù)據(jù)治理最主要的目的，就是為了提升數(shù)據(jù)質(zhì)量，讓報(bào)表、分析、應(yīng)用更加準(zhǔn)確。時(shí)至今日，雖然數(shù)據(jù)治理的范疇擴(kuò)大了很多，我們開(kāi)始講數(shù)據(jù)資產(chǎn)管理、知識(shí)圖譜、自動(dòng)化的數(shù)據(jù)治理等等概念，但是提升數(shù)據(jù)的質(zhì)量，依然是數(shù)據(jù)治理最重要的目標(biāo)之一。

為什么數(shù)據(jù)質(zhì)量問(wèn)題如此重要？

因?yàn)閿?shù)據(jù)如果要發(fā)揮其價(jià)值，關(guān)鍵在于其數(shù)據(jù)質(zhì)量的高低，高質(zhì)量的數(shù)據(jù)是一切數(shù)據(jù)應(yīng)用的基礎(chǔ)。假設(shè)一個(gè)組織根據(jù)劣質(zhì)的數(shù)據(jù)分析業(yè)務(wù)、進(jìn)行決策，那還不如沒(méi)有數(shù)據(jù)。因?yàn)橥ㄟ^(guò)錯(cuò)誤的數(shù)據(jù)分析出的結(jié)果往往會(huì)帶來(lái)「精確的誤導(dǎo)」，對(duì)于任何組織來(lái)說(shuō)，這種「精確誤導(dǎo)」都無(wú)異于一場(chǎng)災(zāi)難。

據(jù)統(tǒng)計(jì)，數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析員每天有 30% 的時(shí)間浪費(fèi)在了辨別數(shù)據(jù)是否是「壞數(shù)據(jù)」上，在數(shù)據(jù)質(zhì)量不高的環(huán)境下，做數(shù)據(jù)分析可謂是戰(zhàn)戰(zhàn)兢兢?？梢?jiàn)數(shù)據(jù)質(zhì)量問(wèn)題已經(jīng)嚴(yán)重影響了組織業(yè)務(wù)的正常運(yùn)營(yíng)。通過(guò)科學(xué)的數(shù)據(jù)質(zhì)量管理，持續(xù)地提升數(shù)據(jù)質(zhì)量，已經(jīng)成為組織內(nèi)部刻不容緩的優(yōu)先任務(wù)。

二、 數(shù)據(jù)質(zhì)量問(wèn)題從何而來(lái)？

做數(shù)據(jù)質(zhì)量管理，首先要搞清楚產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題的原因。原因有多方面，比如在技術(shù)、管理、流程方面都會(huì)碰到。但從根本上說(shuō)，產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題的大部分原因在業(yè)務(wù)上，也就是管理不善。許多表面上的技術(shù)問(wèn)題，深究下去，其實(shí)還是業(yè)務(wù)問(wèn)題。

我在給客戶做數(shù)據(jù)治理咨詢的時(shí)候，發(fā)現(xiàn)很多客戶很難發(fā)現(xiàn)產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題的根本原因，僅僅局限于從技術(shù)角度來(lái)解決問(wèn)題，希望通過(guò)購(gòu)買(mǎi)某個(gè)工具就能解決質(zhì)量問(wèn)題，這當(dāng)然達(dá)不到理想的效果。通過(guò)和客戶交流以及雙方共同分析之后，大部分組織都能認(rèn)識(shí)到數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的真正根源，開(kāi)始從業(yè)務(wù)方向著手解決數(shù)據(jù)質(zhì)量問(wèn)題了。

從業(yè)務(wù)角度著手解決數(shù)據(jù)質(zhì)量問(wèn)題，重要的是建立一套科學(xué)、可行的數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)和管理流程。

三、 數(shù)據(jù)質(zhì)量評(píng)估的標(biāo)準(zhǔn)

當(dāng)我們談到數(shù)據(jù)質(zhì)量管理的時(shí)候，我們必須要有一個(gè)數(shù)據(jù)質(zhì)量評(píng)估的標(biāo)準(zhǔn)。有了這個(gè)標(biāo)準(zhǔn)，我們才能知道如何評(píng)估數(shù)據(jù)的質(zhì)量，才能把數(shù)據(jù)質(zhì)量量化，從而得出改進(jìn)的方向、比較改進(jìn)后的效果。目前業(yè)內(nèi)認(rèn)可的數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)有：

以上數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)只是一些通用的規(guī)則，這些標(biāo)準(zhǔn)是可以根據(jù)數(shù)據(jù)的實(shí)際情況和業(yè)務(wù)要求進(jìn)行擴(kuò)展的，如交叉表校驗(yàn)等。

四、 數(shù)據(jù)質(zhì)量管理流程

要提升數(shù)據(jù)質(zhì)量，需要以問(wèn)題數(shù)據(jù)為切入點(diǎn)，注重問(wèn)題的分析、解決、跟蹤、持續(xù)優(yōu)化、知識(shí)積累，形成數(shù)據(jù)質(zhì)量持續(xù)提升的閉環(huán)。

首先需要梳理和分析數(shù)據(jù)質(zhì)量問(wèn)題，摸清楚數(shù)據(jù)質(zhì)量的現(xiàn)狀；其次針對(duì)不同的質(zhì)量問(wèn)題選擇適合的解決辦法，制定出詳細(xì)的解決方案；同時(shí)要注重問(wèn)題的認(rèn)責(zé)，追蹤方案執(zhí)行的效果，監(jiān)督檢查，持續(xù)優(yōu)化；最后形成數(shù)據(jù)質(zhì)量問(wèn)題解決的知識(shí)庫(kù)，以供后來(lái)者參考。上述步驟不斷迭代，形成數(shù)據(jù)質(zhì)量管理的閉環(huán)。

很顯然，要管理好數(shù)據(jù)質(zhì)量，僅有工具支撐是遠(yuǎn)遠(yuǎn)不夠的，必須要組織架構(gòu)、制度流程參與進(jìn)來(lái)，做到數(shù)據(jù)的認(rèn)責(zé)，數(shù)據(jù)的追責(zé)。這和我在第一篇文章

中闡述的觀點(diǎn)是一致的，大家可以詳細(xì)參考。

五、 數(shù)據(jù)質(zhì)量管理的取與舍

企業(yè)也好，政府也好，從來(lái)不是生活在真空之中，而是被社會(huì)緊緊地包裹。解決任何棘手的問(wèn)題，都必須考慮到社會(huì)因素的影響，做適當(dāng)?shù)娜∩帷?/p>

第一個(gè)取舍：數(shù)據(jù)質(zhì)量管理流程。前面講到的數(shù)據(jù)質(zhì)量管理流程，是一個(gè)相對(duì)理想的狀態(tài)，但是在不同的組織內(nèi)部，實(shí)施的力度都是不同的，以數(shù)據(jù)追責(zé)為例：在企業(yè)內(nèi)部推行還具有一定的可行性，但是對(duì)于政府而言就很難適用。因?yàn)檎块T(mén)的大數(shù)據(jù)項(xiàng)目，牽頭單位無(wú)論是誰(shuí)，很可能沒(méi)有相關(guān)的權(quán)限。遇到這種問(wèn)題，我們只能迂回地做些事情，盡量彌補(bǔ)因?yàn)槟硞€(gè)環(huán)節(jié)缺失而帶來(lái)的不利影響，比如和數(shù)據(jù)提供方一起建立起數(shù)據(jù)清洗的規(guī)則，對(duì)來(lái)源數(shù)據(jù)做清洗，盡量達(dá)到可用的標(biāo)準(zhǔn)。

數(shù)據(jù)追責(zé)的例子：你很難想像市經(jīng)信委去跟市政府辦公廳進(jìn)行數(shù)據(jù)質(zhì)量的問(wèn)責(zé)，這與數(shù)據(jù)治理的建設(shè)方在整個(gè)大的組織體系中的話語(yǔ)權(quán)有很大的關(guān)系，這也就是我們做數(shù)據(jù)治理必須接受的現(xiàn)實(shí)。

第二個(gè)取舍：不同時(shí)間維度上的數(shù)據(jù)采取不同的處理方式。從時(shí)間維度上劃分，數(shù)據(jù)主要有三類(lèi)：未來(lái)數(shù)據(jù)、當(dāng)前數(shù)據(jù)、歷史數(shù)據(jù)。在解決不同種類(lèi)的數(shù)據(jù)質(zhì)量問(wèn)題時(shí)，需要考慮取舍之道，采取不同的處理方式。

1. 歷史數(shù)據(jù)

當(dāng)你拿著一堆歷史問(wèn)題數(shù)據(jù)，找信息系統(tǒng)的負(fù)責(zé)人給你整改，對(duì)方通常不會(huì)給你好臉色看，可能會(huì)以「當(dāng)前的數(shù)據(jù)問(wèn)題都處理不過(guò)來(lái)，哪有時(shí)間給你處理歷史數(shù)據(jù)的問(wèn)題」為理由，拒你以千里之外。這時(shí)候即使你找領(lǐng)導(dǎo)協(xié)調(diào)，一般也沒(méi)有太大的作用。因?yàn)檫@確實(shí)是現(xiàn)實(shí)情況：一個(gè)組織的歷史數(shù)據(jù)通常是經(jīng)年累月的積累，已經(jīng)是海量的規(guī)模，很難處理。那么難道就沒(méi)有更好的辦法了嗎？——對(duì)于歷史數(shù)據(jù)問(wèn)題的處理，我們可以發(fā)揮技術(shù)人員的優(yōu)勢(shì)，用數(shù)據(jù)清洗的辦法來(lái)解決；對(duì)于實(shí)在清洗不了的，我們要讓決策者判斷投入和產(chǎn)出的效益比。

從另一個(gè)角度來(lái)看：數(shù)據(jù)的新鮮度不同，其價(jià)值往往也有所區(qū)分。一般來(lái)說(shuō)，歷史數(shù)據(jù)的時(shí)間越久遠(yuǎn)，其價(jià)值越低。所以，我們不應(yīng)該把最重要的資源放在歷史數(shù)據(jù)質(zhì)量的提升上，而是應(yīng)該更多地著眼于當(dāng)前和未來(lái)即將產(chǎn)生的數(shù)據(jù)。

2. 當(dāng)前數(shù)據(jù)

當(dāng)前數(shù)據(jù)的問(wèn)題，需要我們通過(guò)本文第四個(gè)章節(jié)講過(guò)的——梳理和發(fā)現(xiàn)問(wèn)題，分析問(wèn)題，解決問(wèn)題，問(wèn)題認(rèn)責(zé)、跟蹤和評(píng)估等幾個(gè)流程環(huán)節(jié)來(lái)解決，管理過(guò)程中必須嚴(yán)格遵循流程，避免臟數(shù)據(jù)繼續(xù)流到數(shù)據(jù)分析和應(yīng)用環(huán)節(jié)。

3. 未來(lái)數(shù)據(jù)

管理未來(lái)的數(shù)據(jù)，一定要從數(shù)據(jù)規(guī)劃開(kāi)始，從整個(gè)組織信息化的角度出發(fā)，規(guī)劃組織統(tǒng)一的數(shù)據(jù)架構(gòu)，制定出統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。借業(yè)務(wù)系統(tǒng)新建、改造或重建的時(shí)機(jī)，在創(chuàng)建物理模型、建表、ETL開(kāi)發(fā)、數(shù)據(jù)服務(wù)、數(shù)據(jù)使用等各個(gè)環(huán)節(jié)遵循統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，從根本上提升數(shù)據(jù)質(zhì)量。這也是最理想、效果最好的數(shù)據(jù)質(zhì)量管理模式。

通過(guò)對(duì)不同時(shí)期數(shù)據(jù)的不同處理方式，能做到事前預(yù)防、事中監(jiān)控、事后改善，從根本上解決數(shù)據(jù)質(zhì)量問(wèn)題。

六、 總結(jié)

提升數(shù)據(jù)質(zhì)量，是數(shù)據(jù)治理最重要的目標(biāo)之一。我們需要從三個(gè)方面著手解決數(shù)據(jù)質(zhì)量問(wèn)題：弄清楚數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的根源，建立一套科學(xué)合理的評(píng)估標(biāo)準(zhǔn)和管理流程，考慮到組織和數(shù)據(jù)的現(xiàn)狀。

數(shù)瀾科技的核心產(chǎn)品：一站式大數(shù)據(jù)平臺(tái)「數(shù)棲」，集成了完善的數(shù)據(jù)質(zhì)量管理功能，可以對(duì)表級(jí)、字段級(jí)的數(shù)據(jù)建立稽核規(guī)則，執(zhí)行檢查，生成數(shù)據(jù)質(zhì)量報(bào)告，并融入到數(shù)據(jù)資產(chǎn)管理的閉環(huán)之中，幫助客戶循環(huán)不斷地提升數(shù)據(jù)質(zhì)量。

<END>

公司簡(jiǎn)介：數(shù)瀾科技成立于 2016 年 6 月，秉持“讓企業(yè)的數(shù)據(jù)用起來(lái)”的使命，致力于成為客戶信賴的數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施供應(yīng)商。2019 年初，躋身“杭州準(zhǔn)獨(dú)角獸企業(yè)”榜。

自成立之日起，數(shù)瀾團(tuán)隊(duì)即堅(jiān)持以“數(shù)據(jù)中臺(tái)”作為核心戰(zhàn)略構(gòu)建和培養(yǎng)團(tuán)隊(duì)。目前已有成員 300+， 建成以數(shù)據(jù)科學(xué)家、數(shù)據(jù)產(chǎn)品專(zhuān)家、數(shù)據(jù)咨詢專(zhuān)家及數(shù)據(jù)可視化專(zhuān)家為核心的數(shù)據(jù)科技研發(fā)團(tuán)隊(duì)，核心成員來(lái)自阿里、華為等企業(yè)，擁有大數(shù)據(jù)業(yè)務(wù)和技術(shù)多年實(shí)戰(zhàn)經(jīng)驗(yàn)，是國(guó)內(nèi)最早一批大數(shù)據(jù)服務(wù)創(chuàng)新實(shí)踐者。

目前，數(shù)瀾已為萬(wàn)科、方太、興業(yè)銀行、百果園、中信云網(wǎng)、時(shí)尚集團(tuán)、溫州檢察院、喜茶、視源股份等多家行業(yè)頭部企業(yè)和政府客戶，提供了數(shù)據(jù)中臺(tái)建設(shè)和數(shù)據(jù)資產(chǎn)開(kāi)發(fā)服務(wù)，并基于數(shù)棲幫助企業(yè)持續(xù)挖掘數(shù)據(jù)資產(chǎn)，賦能業(yè)務(wù)創(chuàng)新。