數(shù)據(jù)倉庫賦能組織將不同來源的數(shù)據(jù)整合到公共的數(shù)據(jù)模型中去，整合后的數(shù)據(jù)能為業(yè)務(wù)運營提供洞察，為企業(yè)決策支持和創(chuàng)造組織價值開辟新的可能性。數(shù)據(jù)倉庫提供了一種減少數(shù)據(jù)冗余、提高信息一致性，讓企業(yè)能夠利用數(shù)據(jù)做出更優(yōu)決策的方法。

一、概述

1、業(yè)務(wù)驅(qū)動因素

數(shù)據(jù)倉庫建設(shè)的主要驅(qū)動力是運營支持職能、合規(guī)需求和商務(wù)智能活動。商務(wù)智能支持一直是建設(shè)數(shù)據(jù)倉庫的主要原因，商務(wù)智能為組織、客戶及產(chǎn)品提供洞察。通過商務(wù)智能獲得決策知識并采取行動的組織，能提升其運營效率，增強競爭優(yōu)勢。

2、目標和原則

建設(shè)數(shù)據(jù)倉庫的主要目標有：支持商務(wù)智能活動、賦能商業(yè)分析和高效決策、基于數(shù)據(jù)洞察需找創(chuàng)新方法。

建設(shè)數(shù)據(jù)倉庫的主要原則有：聚焦業(yè)務(wù)目標、以終為始、全局設(shè)計局部行動、總結(jié)并持續(xù)優(yōu)化、提升透明度和自動服務(wù)、與數(shù)據(jù)倉庫一起建設(shè)元數(shù)據(jù)、協(xié)同管理、差異化服務(wù)。

3、基本概念

（1）商務(wù)智能

商務(wù)智能有兩層含義，一層是理解組織訴求和尋找機會的數(shù)據(jù)分析活動，一種是支持數(shù)據(jù)分析活動的技術(shù)集合。

（2）數(shù)據(jù)倉庫

數(shù)據(jù)倉庫有兩個重要部分組成：集成的決策支持數(shù)據(jù)庫和與之相關(guān)的用于收集、清理、轉(zhuǎn)換和存儲來自各種操作和外部源數(shù)據(jù)的軟件程序。數(shù)據(jù)倉庫建設(shè)還會包括相依賴的數(shù)據(jù)集市，數(shù)據(jù)集市是數(shù)據(jù)倉庫子集的副本。

（3）數(shù)據(jù)倉庫建設(shè)

數(shù)據(jù)倉庫建設(shè)指的是數(shù)據(jù)倉庫中數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、控制、加載等操作過程。數(shù)據(jù)倉庫建設(shè)流程的重點，是通過強制業(yè)務(wù)規(guī)則、維護適當?shù)臉I(yè)務(wù)數(shù)據(jù)關(guān)系，在運營的數(shù)據(jù)上實現(xiàn)一個集成的、歷史的業(yè)務(wù)環(huán)境。

傳統(tǒng)意義上的數(shù)據(jù)倉庫建設(shè)主要關(guān)注結(jié)構(gòu)化數(shù)據(jù)，隨著技術(shù)的不斷發(fā)展，商務(wù)智能和數(shù)據(jù)倉庫空間現(xiàn)在也包括半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

（4）數(shù)據(jù)倉庫建設(shè)的方法

數(shù)據(jù)倉庫構(gòu)建的思想主要有兩類。Inmon：面向主題的、整合的、隨時間變化的、相對穩(wěn)定的支持管理決策的數(shù)據(jù)集合；Kimball：為查詢和分析定制的交易數(shù)據(jù)的副本。

（5）企業(yè)信息工廠

企業(yè)信息工廠是兩種主要的數(shù)據(jù)倉庫建設(shè)模式之一。企業(yè)信息工廠主要包括：應(yīng)用程序、數(shù)據(jù)暫存區(qū)、集成和轉(zhuǎn)換、操作型數(shù)據(jù)存儲、數(shù)據(jù)集市、操作型數(shù)據(jù)集市、數(shù)據(jù)倉庫、運營報告、參考數(shù)據(jù)、主數(shù)據(jù)和外部數(shù)據(jù)。

數(shù)據(jù)倉庫和數(shù)據(jù)集市的數(shù)據(jù)與應(yīng)用程序中的數(shù)據(jù)不同：

數(shù)據(jù)的組織形式是按主題域而不是按功能需要；

數(shù)據(jù)是整合的數(shù)據(jù)，而不是孤立的數(shù)據(jù)；

數(shù)據(jù)是隨時間變化的數(shù)據(jù)，而不是僅當前時間的值；

數(shù)據(jù)在數(shù)據(jù)倉庫中的延遲比在應(yīng)用程序中高；

數(shù)據(jù)倉庫中提供的歷史數(shù)據(jù)比應(yīng)用程序中提供的歷史數(shù)據(jù)多。

（6）多維數(shù)據(jù)倉庫

多維數(shù)據(jù)倉庫是數(shù)據(jù)倉庫建設(shè)的另一種主要模式。倉庫數(shù)據(jù)存儲在多維數(shù)據(jù)模型中。多維模型通常為星型模式，由事實表和維度表組成，事實表與維度表關(guān)聯(lián)。多維數(shù)據(jù)倉庫包括：業(yè)務(wù)源系統(tǒng)、數(shù)據(jù)暫存區(qū)域、數(shù)據(jù)展示區(qū)域、數(shù)據(jù)訪問工具。

（7）數(shù)據(jù)倉庫架構(gòu)組件

數(shù)據(jù)倉庫環(huán)境包括一系列組織起來的以滿足企業(yè)需求的架構(gòu)組件。

1）源系統(tǒng)

包括要流入數(shù)據(jù)倉庫/商務(wù)智能環(huán)境的業(yè)務(wù)系統(tǒng)和外部數(shù)據(jù)。

2）數(shù)據(jù)集成

數(shù)據(jù)集成包括抽取、轉(zhuǎn)換和加載、數(shù)據(jù)虛擬化以及將數(shù)據(jù)轉(zhuǎn)換為通用格式和位置的其他技術(shù)。

3）數(shù)據(jù)存儲區(qū)域

暫存區(qū)：介于原始數(shù)據(jù)源和集中式數(shù)據(jù)存儲庫之間的中間數(shù)據(jù)存儲區(qū)域。

參考數(shù)據(jù)和主數(shù)據(jù)一致性維度：參考數(shù)據(jù)和主數(shù)據(jù)可以存儲在單獨的存儲庫中。

中央數(shù)據(jù)庫：完成轉(zhuǎn)換和準備流程后，數(shù)據(jù)倉庫中的數(shù)據(jù)通常會保留在中央或原子層中。這一層保存所有歷史的原子數(shù)據(jù)以及批處理運行后的最新實例化數(shù)據(jù)。

操作型數(shù)據(jù)存儲：操作型數(shù)據(jù)存儲是中央持久存儲的支持較低延遲的解決方案，可以支持業(yè)務(wù)應(yīng)用。

數(shù)據(jù)集市：用于支持數(shù)據(jù)倉庫環(huán)境的展示層，還用于呈現(xiàn)數(shù)據(jù)倉庫的部門級或功能級子集，以便對歷史數(shù)據(jù)進行集成報表、查詢和分析。數(shù)據(jù)集市面向特定主題域、單個部門或單個業(yè)務(wù)流程。

數(shù)據(jù)立方體：三種經(jīng)典支持在線分析處理的實現(xiàn)方法，基于關(guān)系數(shù)據(jù)庫的、基于多維數(shù)據(jù)庫的及混合型存儲結(jié)構(gòu)的。

（8）加載處理的方式

數(shù)據(jù)倉庫建設(shè)涉及兩種主要的數(shù)據(jù)集成處理類型：歷史數(shù)據(jù)加載和持續(xù)不斷的數(shù)據(jù)更新。

1）歷史數(shù)據(jù)

Inmon類型的數(shù)據(jù)倉庫建議所有數(shù)據(jù)存儲在單個數(shù)據(jù)倉庫層中。這一層中存儲已清洗過的、標準化的和受管控的原子級數(shù)據(jù)。

Kimball類型的數(shù)據(jù)倉庫建議數(shù)據(jù)倉庫由包含已清洗過的、標準化的和受管控的部門級數(shù)據(jù)集市合并而成。數(shù)據(jù)集市將在原子級別存儲歷史記錄，由一致性維度表和一致性事實表提供企業(yè)級信息。

Data Vault方法，作為數(shù)據(jù)暫存處理的一部分，同樣進行數(shù)據(jù)清洗和標準化。歷史數(shù)據(jù)以規(guī)范化的原子機構(gòu)存儲，每個維度定義了代理鍵、主鍵、備用鍵。

2）批量變更數(shù)據(jù)捕獲

通常數(shù)據(jù)倉庫是通過每天晚上的批處理窗口進行一次數(shù)據(jù)加載服務(wù)。因為不同源系統(tǒng)可能需要不同的變更捕獲技術(shù)，所以加載過程可以包含各種變更檢測。時間戳或日志表加載是最常見的技術(shù)方式，在處理沒有原生時間戳功能的遺留系統(tǒng)或某些批量恢復(fù)條件時，會用到全量加載。

3）準實時和實時數(shù)據(jù)加載

準實時和實時數(shù)據(jù)加載主要有三種方式：

涓流式加載（源端積累），這種方式允許白天做一些批處理操作，而不必集中到晚上進行專門的批處理窗口。

消息傳送（總線積累），目標系統(tǒng)訂閱消息總線，并按需增量加載數(shù)據(jù)報到倉庫中。源系統(tǒng)和目標系統(tǒng)彼此獨立。

流式傳送（目標端積累），目標端系統(tǒng)用緩沖區(qū)或隊列方式收集數(shù)據(jù)，并按順序處理。

二、數(shù)據(jù)倉庫和商務(wù)智能管理活動

1、理解需求

在收集數(shù)據(jù)倉庫/商務(wù)智能項目需求時，首先，要考慮業(yè)務(wù)目標和業(yè)務(wù)戰(zhàn)略，確定業(yè)務(wù)領(lǐng)域并框定范圍；然后，確定并對相關(guān)業(yè)務(wù)人員進行訪談，了解他們想做些什么和這么做的原因，記錄他們當下關(guān)系的具體問題和想要詢問的數(shù)據(jù)，以及他們?nèi)绾螀^(qū)分和分類重要信息。在可能的情況下，界定并記錄關(guān)鍵的性能指標和計算口徑。

2、定義和維護數(shù)據(jù)倉庫/商務(wù)智能架構(gòu)

1）確定數(shù)據(jù)倉庫/商務(wù)智能的技術(shù)架構(gòu)

最佳的數(shù)據(jù)倉庫/商務(wù)智能架構(gòu)將提供能夠以原子化的數(shù)據(jù)處理方式支持交易級和運營級報表需求機制，這種機制可以避免數(shù)據(jù)倉庫存儲每一筆交易細節(jié)。

2）確定數(shù)據(jù)倉庫/商務(wù)智能的管理流程

建立有效的發(fā)布流程，確保管理層理解這是一個以數(shù)據(jù)產(chǎn)品為中心的主動流程，而不是已安裝產(chǎn)品的被動式問題解決方式。

3、開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)集市

1）將源映射到目標

源到目標的映射為從各個源系統(tǒng)到目標系統(tǒng)的實體和數(shù)據(jù)元素建立轉(zhuǎn)換規(guī)則。映射工作最困難的就是確定多個系統(tǒng)中數(shù)據(jù)之間的鏈接有效性和等效性。通常通過邏輯數(shù)據(jù)模型將不同系統(tǒng)中的數(shù)據(jù)元素映射到數(shù)據(jù)倉庫中。

2）修正和轉(zhuǎn)換數(shù)據(jù)

強化數(shù)據(jù)修正或清理活動的執(zhí)行標準，并糾正和增強各個數(shù)據(jù)元素的域值。數(shù)據(jù)轉(zhuǎn)換重點關(guān)注技術(shù)系統(tǒng)中實現(xiàn)業(yè)務(wù)規(guī)則的活動，數(shù)據(jù)轉(zhuǎn)換對數(shù)據(jù)集成至關(guān)重要。

4、加載數(shù)據(jù)倉庫

在所有數(shù)據(jù)倉庫/商務(wù)智能工作中，工作量最大的部分都是數(shù)據(jù)準備和預(yù)處理。確定數(shù)據(jù)加載方法時，要考慮的關(guān)鍵因素是數(shù)據(jù)倉庫的數(shù)據(jù)集市所需的延遲要求、源可用性、批處理窗口或上載間隔、目標數(shù)據(jù)庫及時間幀的一致性。加載方法還必須解決數(shù)據(jù)質(zhì)量處理過程、執(zhí)行轉(zhuǎn)換時間、延遲到達的維度和數(shù)據(jù)拒絕等問題。

5、實施商務(wù)智能產(chǎn)品組合

實施商務(wù)智能組合是為了在業(yè)務(wù)部門內(nèi)部或業(yè)務(wù)部門之間為正確的用戶社區(qū)選定合適的工具，通過協(xié)調(diào)常見的業(yè)務(wù)流程、性能分析、管理風(fēng)格和需求找到相似之處。主要包括根據(jù)需要給用戶分組和將工具與用戶要求相匹配。

6、維護數(shù)據(jù)產(chǎn)品

1）發(fā)布管理

發(fā)布管理對增量的開發(fā)過程至關(guān)重要，增加新功能，增強生產(chǎn)部署，并確保為已部署的資產(chǎn)提供定位維護。這個過程需要IT和業(yè)務(wù)的一致性，與數(shù)據(jù)倉庫模型和BI功能保持一致性。

2）管理數(shù)據(jù)產(chǎn)品開發(fā)生命周期

版本發(fā)布需要保持功能與業(yè)務(wù)團隊的需求一致，而迭代將使功能與產(chǎn)品經(jīng)理管理的配置本身保持一致。

3）監(jiān)控和調(diào)優(yōu)加載過程

監(jiān)控整個系統(tǒng)的加載處理，并了解性能瓶頸和性能依賴的路徑。在需要的地方和時刻使用數(shù)據(jù)庫調(diào)優(yōu)技術(shù)，包括分區(qū)、備份調(diào)優(yōu)和恢復(fù)策略調(diào)整。數(shù)據(jù)歸檔是數(shù)據(jù)倉庫構(gòu)建中的一個難題。

4）監(jiān)控和調(diào)優(yōu)商務(wù)智能活動和性能

商務(wù)智能監(jiān)控和調(diào)優(yōu)的最佳實踐是定義和顯示一組面向客戶滿意度的指標，如平均查詢響應(yīng)時間，每天、每周或每月的用戶數(shù)就是有用的指標。透明度和可見性是推動數(shù)據(jù)倉庫/商務(wù)智能監(jiān)控的關(guān)鍵原則。

三、數(shù)據(jù)倉庫/商務(wù)智能實施指南

1、就緒評估/風(fēng)險評估

識別并清點數(shù)據(jù)倉庫中敏感或受限的數(shù)據(jù)元素，在選擇工具和分配資源之前，需要考慮安全約束。確保遵循相關(guān)審核和批準的數(shù)據(jù)治理流程。

2、版本路線圖

數(shù)據(jù)倉庫是逐步構(gòu)建的，無論選擇什么實現(xiàn)方法，不管是瀑布式、迭代式、還是敏捷開發(fā)，都應(yīng)考慮到想要實現(xiàn)的最終狀態(tài)。采用路線圖作為規(guī)劃工具，平衡單個項目交付的壓力與可重用數(shù)據(jù)和基礎(chǔ)設(shè)施的總體目標。

3、配置管理

配置管理與發(fā)布路線圖保持一致，并提供必要的后臺腳本和調(diào)整，以自動化開發(fā)、測試和發(fā)布到生產(chǎn)。

4、組織與文化變革

在整個數(shù)據(jù)倉庫/商務(wù)智能生命周期中，始終保持一致的業(yè)務(wù)重點是項目成功的關(guān)鍵。重要的成功因素包括：業(yè)務(wù)倡議、業(yè)務(wù)目標和范圍、業(yè)務(wù)資源、業(yè)務(wù)準備情況、愿景一致。

四、數(shù)據(jù)倉庫/商務(wù)智能治理

1、業(yè)務(wù)接受度

業(yè)務(wù)對數(shù)據(jù)的接受度包括：可以理解的數(shù)據(jù)、具有可驗證的質(zhì)量以及具有可證明的數(shù)據(jù)血緣關(guān)系。

2、客戶/用戶滿意度

對數(shù)據(jù)質(zhì)量的認識將提高客戶滿意度，但是滿意度也取決于其他因素，如數(shù)據(jù)消費者對數(shù)據(jù)的理解以及運營團隊對已識別問題的響應(yīng)能力。

3、服務(wù)水平協(xié)議

數(shù)據(jù)倉庫的業(yè)務(wù)和技術(shù)期望應(yīng)在服務(wù)水平協(xié)議中指定，包括相應(yīng)時間、數(shù)據(jù)保留和可用性要求等。

4、報表策略

報表策略包括標準、流程、指南、最佳實踐和程序，他將確保用戶獲得清晰、準確和及時的信息。應(yīng)定期評估報表以確保他們?nèi)匀痪哂袃r值，因為報表運行會增加存儲成本和處理成本。

5、度量指標

數(shù)據(jù)倉庫/商務(wù)智能治理的度量指標主要有：使用指標、主題域覆蓋率、響應(yīng)時間和性能指標等。

歡迎加入數(shù)據(jù)管理者