轉(zhuǎn)載地址：http://www.sohu.com/a/140135353_775689

信息時代，數(shù)據(jù)已經(jīng)慢慢成為一種資產(chǎn)，數(shù)據(jù)質(zhì)量成為決定資產(chǎn)優(yōu)劣的一個重要方面。隨著大數(shù)據(jù)的發(fā)展，越來越豐富的數(shù)據(jù)給數(shù)據(jù)質(zhì)量的提升帶來了新的挑戰(zhàn)和困難。提出一種數(shù)據(jù)質(zhì)量策略，從建立數(shù)據(jù)質(zhì)量評價體系、落實質(zhì)量信息的采集分析與監(jiān)控、建立持續(xù)改進(jìn)的工作機(jī)制和完善元數(shù)據(jù)管理４個方面，多方位優(yōu)化改進(jìn)，最終形成一套完善的質(zhì)量管理體系，為信息系統(tǒng)提供高質(zhì)量的數(shù)據(jù)支持。

１ 信息系統(tǒng)數(shù)據(jù)質(zhì)量

信息由數(shù)據(jù)構(gòu)成，數(shù)據(jù)是信息的基礎(chǔ)，數(shù)據(jù)已經(jīng)成為一種重要資源。對于企業(yè)而言，進(jìn)行市場情報調(diào)研、客戶關(guān)系維護(hù)、財務(wù)報表展現(xiàn)、戰(zhàn)略決策支持等，都需要信息系統(tǒng)進(jìn)行數(shù)據(jù)的搜集、分析、知識發(fā)現(xiàn)，為決策者提供充足且準(zhǔn)確的情報和資料。對于政府而言，進(jìn)行社會管理和公共服務(wù)，影響面更為寬廣和深遠(yuǎn)，政策和服務(wù)能否滿足社會需要，是否高效地使用了公共資源，都需要數(shù)據(jù)提供支持和保障，因而對數(shù)據(jù)的需求顯得更為迫切，對數(shù)據(jù)質(zhì)量的要求也更為苛刻。

作為信息系統(tǒng)的重要構(gòu)成部分，數(shù)據(jù)質(zhì)量問題是影響信息系統(tǒng)運(yùn)行的關(guān)鍵因素，直接關(guān)系到信息系統(tǒng)建設(shè)的成敗。根據(jù)“垃圾進(jìn)，垃圾出（ｇａｒｂａｇｅ ｉｎ，ｇａｒｂａｇｅ ｏｕｔ）”的原理，為了使信息系統(tǒng)建設(shè)取得預(yù)期效果，達(dá)到數(shù)據(jù)決策的目標(biāo)，就要求信息系統(tǒng)提供的數(shù)據(jù)是可靠的，能夠準(zhǔn)確反應(yīng)客觀事實。如果數(shù)據(jù)質(zhì)量得不到保證，即使數(shù)據(jù)分析工具再先進(jìn)，模型再合理，算法再優(yōu)良，在充滿“垃圾”的數(shù)據(jù)環(huán)境中也只能得到毫無意義的垃圾信息，系統(tǒng)運(yùn)行的結(jié)果、作出的分析就可能是錯誤的，甚至影響到后續(xù)決策的制定和實行。高質(zhì)量的數(shù)據(jù)來源于數(shù)據(jù)收集，是數(shù)據(jù)設(shè)計以及數(shù)據(jù)分析、評估、修正等環(huán)節(jié)的強(qiáng)力保證。因此，信息系統(tǒng)數(shù)據(jù)質(zhì)量管理尤為重要，這就需要建立一個有效的數(shù)據(jù)質(zhì)量管理體系，盡可能全面發(fā)現(xiàn)數(shù)據(jù)存在的問題并分析原因，以推動數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)。

２ 大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量管理面臨的挑戰(zhàn)

隨著三網(wǎng)融合、移動互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)的生產(chǎn)者、生產(chǎn)環(huán)節(jié)都在急速攀升，隨之快速產(chǎn)生的數(shù)據(jù)呈指數(shù)級增長。在信息和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天，越來越多的企業(yè)業(yè)務(wù)和社會活動實現(xiàn)了數(shù)字化。全球最大的零售商沃爾瑪，每天通過分布在世界各地的６０００多家商店向全球客戶銷售超過２．６７億件商品，每小時獲得２．５ＰＢ的交易數(shù)據(jù)。而物聯(lián)網(wǎng)下的傳感數(shù)據(jù)也慢慢發(fā)展成了大數(shù)據(jù)的主要來源之一。有研究估計，２０１５年全球數(shù)據(jù)量為８ＺＢ，而到２０２０年則高達(dá)３５．２ＺＢ，是２０１５年數(shù)據(jù)量的４４倍之多。此外，隨著移動互聯(lián)網(wǎng)、Ｗｅｂ２．０技術(shù)和電子商務(wù)技術(shù)的飛速發(fā)展，大量的多媒體內(nèi)容在指數(shù)增長的數(shù)據(jù)量中發(fā)揮著重要作用。

大數(shù)據(jù)時代下的數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)呈現(xiàn)出了重大差別，直接影響到數(shù)據(jù)在流轉(zhuǎn)環(huán)節(jié)中的各個方面，給數(shù)據(jù)存儲處理分析性能、數(shù)據(jù)質(zhì)量保障都帶來了很大挑戰(zhàn)。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)對比如表１所示。

由于以上特性，大數(shù)據(jù)的信息系統(tǒng)更容易產(chǎn)生數(shù)據(jù)質(zhì)量問題：

（１）在數(shù)據(jù)收集方面，大數(shù)據(jù)的多樣性決定了數(shù)據(jù)來源的復(fù)雜性。來源眾多、結(jié)構(gòu)各異、大量不同的數(shù)據(jù)源之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的完整性、數(shù)據(jù)質(zhì)量的可靠性尤為必要。

（２）由于規(guī)模大，大數(shù)據(jù)獲取、存儲、傳輸和計算過程中可能產(chǎn)生更多錯誤。采用傳統(tǒng)數(shù)據(jù)的人工錯誤檢測與修復(fù)或簡單的程序匹配處理，遠(yuǎn)遠(yuǎn)處理不了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)問題。

（３）由于高速性，數(shù)據(jù)的大量更新會導(dǎo)致過時數(shù)據(jù)迅速產(chǎn)生，也更易產(chǎn)生不一致數(shù)據(jù)。

（４）由于發(fā)展迅速，市場龐大，廠商眾多，直接產(chǎn)生的數(shù)據(jù)或者產(chǎn)品產(chǎn)生的數(shù)據(jù)標(biāo)準(zhǔn)不完善，使得數(shù)據(jù)有更大的可能產(chǎn)生不一致和沖突。

（５）由于數(shù)據(jù)生產(chǎn)源頭激增，產(chǎn)生的數(shù)據(jù)來源眾多，結(jié)構(gòu)各異，以及系統(tǒng)更新升級加快和應(yīng)用技術(shù)更新?lián)Q代頻繁，使得不同的數(shù)據(jù)源之間、相同的數(shù)據(jù)源之間都可能存在著沖突、不一致或相互矛盾的現(xiàn)象，再加上數(shù)據(jù)收集與集成往往由多個團(tuán)隊協(xié)作完成，期間增大了數(shù)據(jù)處理過程中產(chǎn)生問題數(shù)據(jù)的概率。

３ 數(shù)據(jù)質(zhì)量管理策略

為了改進(jìn)和提高數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從管理入手，對數(shù)據(jù)運(yùn)行的全過程進(jìn)行監(jiān)控，密切關(guān)注數(shù)據(jù)質(zhì)量的發(fā)展和變化，深入研究數(shù)據(jù)質(zhì)量問題所遵循的客觀規(guī)律，分析其產(chǎn)生的機(jī)理，探索科學(xué)有效的控制方法和改進(jìn)措施；必須強(qiáng)化全面數(shù)據(jù)質(zhì)量管理的思想觀念，把這一觀念滲透到數(shù)據(jù)生命周期的全過程。

大數(shù)據(jù)下信息系統(tǒng)的數(shù)據(jù)處理架構(gòu)如圖１所示。

傳統(tǒng)數(shù)據(jù)倉庫中ＥＴＬ的環(huán)節(jié)在大數(shù)據(jù)應(yīng)用中會根據(jù)實際業(yè)務(wù)需求在不同的環(huán)節(jié)存在，分別進(jìn)行粗細(xì)粒度不等的數(shù)據(jù)抽取、轉(zhuǎn)換和加載，以適應(yīng)容納處理不同規(guī)模、不同結(jié)構(gòu)、不同流量的數(shù)據(jù)。

結(jié)合大數(shù)據(jù)的參考框架及數(shù)據(jù)處理實際需求情況，數(shù)據(jù)質(zhì)量管理可以從以下幾個方面著手，以多方協(xié)作改進(jìn)，最終實現(xiàn)系統(tǒng)數(shù)據(jù)處于持續(xù)高效可用的狀態(tài)。

３．１ 建立數(shù)據(jù)質(zhì)量評價體系

評估數(shù)據(jù)質(zhì)量，可以從如下４個方面來考慮：①完整性：數(shù)據(jù)的記錄和信息是否完整，是否存在缺失情況；②一致性：數(shù)據(jù)的記錄是否符合規(guī)范，是否與前后及其它數(shù)據(jù)集保持統(tǒng)一；③準(zhǔn)確性：數(shù)據(jù)中記錄的信息和數(shù)據(jù)是否準(zhǔn)確，是否存在異?；蛘咤e誤信息；④及時性：數(shù)據(jù)從產(chǎn)生到可以查看的時間間隔，也叫數(shù)據(jù)的延時時長。

有了評估方向，還需要使用可以量化、程序化識別的指標(biāo)來衡量。通過量化指標(biāo)，管理者才可能了解到當(dāng)前數(shù)據(jù)質(zhì)量，以及采取修正措施之后數(shù)據(jù)質(zhì)量的改進(jìn)程度。而對于海量數(shù)據(jù)，數(shù)據(jù)量大、處理環(huán)節(jié)多，獲取質(zhì)量指標(biāo)的工作不可能由人工或簡單的程序來完成，而需要程序化的制度和流程來保證，因此，指標(biāo)的設(shè)計、采集與計算必須是程序可識別處理的。

完整性可以通過記錄數(shù)和唯一值來衡量。比如某類的交易數(shù)據(jù)，每天的交易量應(yīng)該呈現(xiàn)出平穩(wěn)的特點(diǎn)，平穩(wěn)增加、平穩(wěn)增長或保持一定范圍內(nèi)的周期波動。如果記錄數(shù)量出現(xiàn)激增或激減，則需要追溯是在哪個環(huán)節(jié)出現(xiàn)了變動，最終定位是數(shù)據(jù)問題還是服務(wù)出現(xiàn)了問題。對于屬性的完整性考量，則可以通過空值占比或無效值占比來進(jìn)行檢查。

一致性檢驗主要是檢驗數(shù)據(jù)和數(shù)據(jù)定義是否一致，因此可以通過合規(guī)記錄的比率來衡量。比如取值范圍是枚舉集合的數(shù)據(jù)，其實際值超出范圍之外的數(shù)據(jù)占比，比如存在特定編碼規(guī)則的屬性值不符合其編碼規(guī)則的記錄占比。還有一些存在邏輯關(guān)系的屬性之間的校驗，比如屬性Ａ取某定值時，屬性Ｂ的值應(yīng)該在某個特定的數(shù)據(jù)范圍內(nèi)，都可以通過合規(guī)率來衡量。

準(zhǔn)確性可能存在于個別記錄，也可能存在于整個數(shù)據(jù)集上。準(zhǔn)確性和一致性的差別在于一致性關(guān)注合規(guī)，表示統(tǒng)一，而準(zhǔn)確性關(guān)注數(shù)據(jù)錯誤。因此，同樣的數(shù)據(jù)表現(xiàn)，比如數(shù)據(jù)實際值不在定義的范圍內(nèi)，如果定義的范圍準(zhǔn)確，值完全沒有意義，那么這屬于數(shù)據(jù)錯誤。但如果值是合理且有意義的，那么可能是范圍定義不夠全面，則不能認(rèn)定為數(shù)據(jù)錯誤，而是應(yīng)該去補(bǔ)充修改數(shù)據(jù)定義。

通過建立數(shù)據(jù)質(zhì)量評價體系，對整個流通鏈條上的數(shù)據(jù)質(zhì)量進(jìn)行量化指標(biāo)輸出，后續(xù)進(jìn)行問題數(shù)據(jù)的預(yù)警，使得問題一出現(xiàn)就可以暴露出來，便于進(jìn)行問題的定位和解決，最終可以實現(xiàn)在哪個環(huán)節(jié)出現(xiàn)就在哪個環(huán)節(jié)解決，避免了將問題數(shù)據(jù)帶到后端及其質(zhì)量問題擴(kuò)大。

３．２ 落實數(shù)據(jù)質(zhì)量信息的采集、分析與監(jiān)控

有評價體系作為參照，還需要進(jìn)行數(shù)據(jù)的采集、分析和監(jiān)控，為數(shù)據(jù)質(zhì)量提供全面可靠的信息。在數(shù)據(jù)流轉(zhuǎn)環(huán)節(jié)的關(guān)鍵點(diǎn)上設(shè)置采集點(diǎn)，采集數(shù)據(jù)質(zhì)量監(jiān)控信息，按照評價體系的指標(biāo)要求，輸出分析報告。一個典型的數(shù)據(jù)流轉(zhuǎn)流程如圖２所示。

在此流程中，會有一系列的數(shù)據(jù)采集點(diǎn)。根據(jù)系統(tǒng)對數(shù)據(jù)質(zhì)量的要求，配置相應(yīng)的采集規(guī)則，通過在采集點(diǎn)處進(jìn)行質(zhì)量數(shù)據(jù)采集并進(jìn)行統(tǒng)計分析，就可以得到采集點(diǎn)處的數(shù)據(jù)分析報告。通過對來源數(shù)據(jù)的質(zhì)量分析，可以了解數(shù)據(jù)和評價接入數(shù)據(jù)的質(zhì)量；通過對上下采集點(diǎn)的數(shù)據(jù)分析報告的對比，可以評估數(shù)據(jù)處理流程的工作質(zhì)量。配合數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)工作機(jī)制，進(jìn)行質(zhì)量問題原因的定位、處理和跟蹤。

３．３ 建立數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)工作機(jī)制

通過質(zhì)量評價體系和質(zhì)量數(shù)據(jù)采集系統(tǒng)，可以發(fā)現(xiàn)問題，之后還需要對發(fā)現(xiàn)的問題及時作出反應(yīng)，追溯問題原因和形成機(jī)制，根據(jù)問題種類采取相應(yīng)的改進(jìn)措施，并持續(xù)跟蹤驗證改進(jìn)之后的數(shù)據(jù)質(zhì)量提升效果，形成正反饋，達(dá)到數(shù)據(jù)質(zhì)量持續(xù)改良的效果。在源頭建立數(shù)據(jù)標(biāo)準(zhǔn)或接入標(biāo)準(zhǔn)，規(guī)范數(shù)據(jù)定義，在數(shù)據(jù)流轉(zhuǎn)過程中建立監(jiān)控數(shù)據(jù)轉(zhuǎn)換質(zhì)量的流程和體系，盡量做到在哪發(fā)現(xiàn)問題就在哪解決問題，不把問題數(shù)據(jù)帶到后端。

導(dǎo)致數(shù)據(jù)質(zhì)量產(chǎn)生問題的原因很多。有研究表示，從問題的產(chǎn)生原因和來源，可以分為四大問題域：信息問題域、技術(shù)問題域、流程問題域和管理問題域。信息類問題是由于對數(shù)據(jù)本身的描述、理解及其度量標(biāo)準(zhǔn)偏差而造成的數(shù)據(jù)質(zhì)量問題。產(chǎn)生這類數(shù)據(jù)質(zhì)量問題的主要原因包括：數(shù)據(jù)標(biāo)準(zhǔn)不完善、元數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)度量得不到保證和變化頻度不恰當(dāng)?shù)?。技術(shù)類問題是指由于在數(shù)據(jù)處理流程中數(shù)據(jù)流轉(zhuǎn)的各技術(shù)環(huán)節(jié)異常或缺陷而造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實現(xiàn)上的某種缺陷。技術(shù)類數(shù)據(jù)質(zhì)量問題主要產(chǎn)生在數(shù)據(jù)創(chuàng)建、數(shù)據(jù)接入、數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載、數(shù)據(jù)使用和數(shù)據(jù)維護(hù)等環(huán)節(jié)。流程類問題是指由于數(shù)據(jù)流轉(zhuǎn)的流程設(shè)計不合理、人工操作流程不當(dāng)造成的數(shù)據(jù)質(zhì)量問題。所有涉及到數(shù)據(jù)流轉(zhuǎn)流程的各個環(huán)節(jié)都可能出現(xiàn)問題，比如接入新數(shù)據(jù)缺乏對數(shù)據(jù)檢核、元數(shù)據(jù)變更沒有考慮到歷史數(shù)據(jù)的處理、數(shù)據(jù)轉(zhuǎn)換不充分等各種流程設(shè)計錯誤、數(shù)據(jù)處理邏輯有缺陷等問題。管理類問題是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題。比如數(shù)據(jù)接入環(huán)節(jié)由于工期壓力而減少對數(shù)據(jù)檢核流程的執(zhí)行和監(jiān)控、缺乏反饋渠道及處理責(zé)任人、相關(guān)人員缺乏培訓(xùn)和過程資產(chǎn)繼承隨之帶來的一系列問題等。

了解問題產(chǎn)生的原因和來源后，就可以對每一類問題建立起識別、反饋、處理、驗證的流程和制度。比如數(shù)據(jù)標(biāo)準(zhǔn)不完善導(dǎo)致的問題，這就需要有一整套數(shù)據(jù)標(biāo)準(zhǔn)問題識別、標(biāo)準(zhǔn)修正、現(xiàn)場實施和驗證的流程，確保問題的準(zhǔn)確解決，不帶來新的問題。比如缺乏反饋渠道和處理責(zé)任人的問題，則屬于管理問題，則需要建立一套數(shù)據(jù)質(zhì)量的反饋和響應(yīng)機(jī)制，配合問題識別、問題處理、解決方案的現(xiàn)場實施與驗證、過程和積累等多個環(huán)節(jié)和流程，保證每一個問題都能得到有效解決并有效積累處理的過程和經(jīng)驗，形成越來越完善的一個有機(jī)運(yùn)作體。

當(dāng)然，很多問題是相互影響的，單一地解決某一方面的問題可能暫時解決不了所發(fā)現(xiàn)的問題，但是當(dāng)多方面的持續(xù)改進(jìn)機(jī)制協(xié)同工作起來之后，互相影響，交錯前進(jìn)，一點(diǎn)點(diǎn)改進(jìn)，最終就會達(dá)到一個比較好的效果。

３．４ 完善元數(shù)據(jù)管理

數(shù)據(jù)質(zhì)量的采集規(guī)則和檢查規(guī)則本身也是一種數(shù)據(jù)，在元數(shù)據(jù)中定義。元數(shù)據(jù)按照官方定義，是描述數(shù)據(jù)的數(shù)據(jù)。面對龐大的數(shù)據(jù)種類和結(jié)構(gòu)，如果沒有元數(shù)據(jù)來描述這些數(shù)據(jù)，使用者無法準(zhǔn)確地獲取所需信息。正是通過元數(shù)據(jù)，海量的數(shù)據(jù)才可以被理解、使用，才會產(chǎn)生價值。

元數(shù)據(jù)可以按照其用途分為３類：技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。技術(shù)元數(shù)據(jù)：存儲關(guān)于信息倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，適用于開發(fā)和管理數(shù)據(jù)而使用的數(shù)據(jù)。主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括對數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理過程的特征描述，存儲方式和位置覆蓋整個涉及數(shù)據(jù)的生產(chǎn)和消費(fèi)環(huán)節(jié)。業(yè)務(wù)元數(shù)據(jù)：從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，提供了業(yè)務(wù)使用者和實際系統(tǒng)之間的語義層。主要包括業(yè)務(wù)術(shù)語、指標(biāo)定義、業(yè)務(wù)規(guī)則等信息。

管理元數(shù)據(jù)：描述系統(tǒng)中管理領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括人員角色、崗位職責(zé)、管理流程等信息。由此可見，本文提出的解決思路都需要元數(shù)據(jù)管理系統(tǒng)的支持。良好的元數(shù)據(jù)管理系統(tǒng)能為數(shù)據(jù)質(zhì)量的采集、分析、監(jiān)控、改進(jìn)提供高效、有力的強(qiáng)大保障。同時，良好的數(shù)據(jù)質(zhì)量管理系統(tǒng)也能促進(jìn)元數(shù)據(jù)管理系統(tǒng)的持續(xù)改進(jìn)，互相促進(jìn)完善，共同為一個高質(zhì)量和高效運(yùn)轉(zhuǎn)的數(shù)據(jù)平臺提供支持。

４ 結(jié)語

數(shù)據(jù)質(zhì)量（ＤａｔａＱｕａｌｉｔｙ）管理貫穿數(shù)據(jù)生命周期的全過程，覆蓋質(zhì)量評估、數(shù)據(jù)監(jiān)控、數(shù)據(jù)探查、數(shù)據(jù)清洗、數(shù)據(jù)診斷等方面。數(shù)據(jù)源在不斷增多，數(shù)據(jù)量在不斷加大，新需求推動的新技術(shù)也不斷誕生，這些都對大數(shù)據(jù)下的數(shù)據(jù)質(zhì)量管理帶來了困難和挑戰(zhàn)。因此，數(shù)據(jù)質(zhì)量管理要形成完善的體系，建立持續(xù)改進(jìn)的流程和良性機(jī)制，持續(xù)監(jiān)控各系統(tǒng)數(shù)據(jù)質(zhì)量波動情況及數(shù)據(jù)質(zhì)量規(guī)則分析，適時升級數(shù)據(jù)質(zhì)量監(jiān)控的手段和方法，確保持續(xù)掌握系統(tǒng)數(shù)據(jù)質(zhì)量狀況，最終達(dá)到數(shù)據(jù)質(zhì)量的平穩(wěn)狀態(tài)，為業(yè)務(wù)系統(tǒng)提供良好的數(shù)據(jù)保障。