商業(yè)智能(Business Intelligence,簡稱BI)正如雨后春筍般蓬勃崛起。商業(yè)智能起始于決策支持系統(tǒng),早期伴隨著計算機的普及,有了長足的發(fā)展。后來,IBM公司提出“數據倉庫”概念,同時,硬件的擴充、軟件的更新、數據庫在企業(yè)的廣泛應用等使商業(yè)智能真正地破繭而出。 近些年,在數據倉庫的基礎上,在線聯(lián)機分析(OLAP)、數據挖掘技術開始大行其道,目前,智能商業(yè)能幫助企業(yè)做的事情已經越來越多,而且正在從傳統(tǒng)功能向增強型功能轉變、從單獨的商業(yè)智能向嵌入式商業(yè)智能發(fā)展。停滯多年的BI又一次吸引了大量公司的戰(zhàn)略視角。今天數獵哥就來說說商業(yè)智能(BI)。 一、什么商業(yè)智能BI 1.商業(yè)智能BI的定義 BI是Business Intelligence的英文縮寫,中文解釋為商務智能,用來幫助企業(yè)更好地利用數據提高決策質量的技術集合,是從大量的數據中鉆取信息與知識的過程。簡單講就是業(yè)務、數據、數據價值應用的過程。 換句話來說,BI是一套完整的解決方案,可以將來自企業(yè)的不同業(yè)務系統(tǒng)(如ERP、CRM、OA、BPM等,包括自己開發(fā)的業(yè)務系統(tǒng)軟件)的數據,提取出有用的數據進行整合清洗,在保證數據正確性的同時,進行數據分析和處理,并利用合適的查詢和分析工具快速、準確地為企業(yè)提供報表展現(xiàn)與分析,為企業(yè)提供決策支持。 簡單概括這個過程所體現(xiàn)的三個大的部分就是:數據源收集,數據倉庫的數據準備,可視化報表展現(xiàn)和數據分析(如圖所示)。 2.商業(yè)智能BI的本質 對企業(yè)來說,商業(yè)智能BI不能直接產生決策,而是利用BI處理后的數據來支持決策。核心是通過構建數據倉庫平臺,有效整合數據、組織數據,為分析決策提供支持并實現(xiàn)其價值。 BI最終展現(xiàn)給用戶的信息就是可視化報表或視圖。需要注意的是,報表是一個結果,只能達到查詢的效果,查詢僅僅只能告訴我們結果是什么、有沒有問題。而基于可視化圖表背后的數據分析才能告訴我們問題的原因是什么,只要問題發(fā)現(xiàn)了,原因也找到了,那么企業(yè)業(yè)務人員或者管理人員如何去決策就會變得簡單與輕松。 3.商業(yè)智能BI的開發(fā)周期 商業(yè)智能BI是一個完整的解決方案,需要進行專業(yè)項目實施與部署。既然是項目,就有開發(fā)生命周期。一個完整的商業(yè)智能BI項目需要經歷以下幾個階段: 這里需要注意的是,在實際項目實施過程中,以上的每一個階段都存在很大的變數,例如業(yè)務架構自底往上的調整、分析需求的變化、業(yè)務數據計算邏輯的變更等。所以商業(yè)智能BI項目如果需要順利實施就需要權衡好客戶實際資源能力、項目支持力度,客戶對商業(yè)智能BI的期待,項目后期的風險,客戶的實際投入和長遠規(guī)劃... 二、商業(yè)智能BI與大數據有什么區(qū)別 大數據研究機構Gartner給出了這樣的定義:“大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產”。 商業(yè)智能BI和大數據是兩個不同的概念,簡單來說,BI相對于大數據更傾向于分析模式,用于決策,適合支持經營指標支撐類的問題;大數據則內涵更廣,傾向于刻畫個體,更多的在于個性化的決策。 三、企業(yè)為什么需要商業(yè)智能BI 其實,企業(yè)內部有大量的機會可以通過優(yōu)化業(yè)務流程和集中決策來節(jié)省資金。在業(yè)務遭遇大挫折時,商業(yè)智能BI能帶來一線曙光,產出顯著的投資回報率ROI。例如,阿爾伯克基市的就業(yè)者使用商業(yè)智能BI軟件來識別機會以減少使用手機通話,加班及其他營運開支,三年期間為這個城市節(jié)省了200萬美元。 同樣地,在商業(yè)智能BI工具的幫助下,豐田汽車公司意識到對它的運貨商雙倍地付費,于2000年總數達812,000美元。利用商業(yè)智能BI來揭示業(yè)務流程中存在的缺陷的企業(yè),與僅用商業(yè)智能BI來監(jiān)控會發(fā)生什么事情的企業(yè)相比,在成功的競爭中處于更有利的地位。商業(yè)智能BI在企業(yè)中的應用主要表現(xiàn)在如下3個方面: 1.可視化報表的展現(xiàn) 在BI中,使用柱狀圖、餅狀圖、折線圖、二維表格等圖形可視化的方式將企業(yè)日常的業(yè)務數據(財務、供應鏈、人力、運營、市場、銷售、產品等)全面展現(xiàn)出來,再通過各種數據分析維度篩選、關聯(lián)、跳轉、鉆取等方式查看各類業(yè)務指標。 這些分析展現(xiàn)內容基本上是圍繞各個業(yè)務部門日常工作展開的,這里面有很多的業(yè)務分析內容可能需要復雜的計算規(guī)則,需要從不同的業(yè)務系統(tǒng)獲取數據,并且這些數據在業(yè)務系統(tǒng)軟件中都是很難直觀看到的。 這個層次的可視化報表分析就是一種呈現(xiàn),讓用戶對日常的業(yè)務有一個清晰、直接、準確的認知,同時解放了業(yè)務人員手工利用Excel的各種函數做匯總分析、制圖的工作,提高了工作效率。比如,財務部門會關心今年的營業(yè)收入、目標完成率、營業(yè)毛利潤率、凈資產收益率等;銷售部門會關心銷售金額、訂單數量、銷售毛利、回款率等;采購部門會關心采購入庫金額、退貨情況、應付賬款等等。 2.數據的“異?!狈治?/strong> 數據的異常分析利用的是對比分析法。業(yè)務人員通過可視化報表呈現(xiàn),如果發(fā)現(xiàn)了一些數據指標反映出來的情況超出了日常經驗判斷。這時就需要要對這些 '異常' 數據進行有目的的分析,通過相關聯(lián)的維度、指標使用鉆取、關聯(lián)等分析方式探索出可能存在的原因。 例如,一個網站或產品,正常情況下每個月的平均用戶注冊量是10萬左右。但是發(fā)現(xiàn)在今年的 8 月份,會員注冊量達到了 23 萬,這就是一種 '異常',遠遠超過經驗判斷和預期。這時我們就要去分析判斷是因為市場部門的推廣,還是做了大型促銷活動導致的。 當然除了正向的異常,也有可能出現(xiàn)負向“異?!?,比如注冊量只有5萬,這時也是需要我們通過分析找到原因,并在以后避免發(fā)生類似的情況。 最終業(yè)務人員通過一次或者多次的維度和指標圖表構建,逐步形成了一種比較可靠的、固化的分析模型。這個階段的業(yè)務人員不再是被動接受來自圖表中反映的信息,而是通過'異常'數據來定位到背后的一個業(yè)務問題,數據和業(yè)務在這個層次開始有了直接對應關系,這時可以利用數據圖表之間的邏輯性關系尋找解決方法,提高企業(yè)的經營效率。 3.業(yè)務建模分析 業(yè)務建模分析通常是由精通業(yè)務的業(yè)務人員提出,通過合理的建模找出業(yè)務中可能存在的問題,將其反映在可視化報表上,并最后要回歸到業(yè)務,形成決策并不斷優(yōu)化的一個過程。業(yè)務建模簡單來說也可以理解為一種業(yè)務分析的邏輯思維模型,只是用數據、圖表化的方式將它們有效組織起來去驗證我們對業(yè)務分析的邏輯判斷。它可由一個或多個圖表組成,也可通過一組或多組數據圖表支撐,依據企業(yè)的業(yè)務模型來確定。 業(yè)務建模分析區(qū)別于前兩點,它是一種更深層次的業(yè)務數據的主動設計和探索分析。需要更加深入業(yè)務,圍繞一個一個業(yè)務分析場景展開,對業(yè)務的認知要足夠深。這里需要注意的是具體的分析場景很難由專業(yè)的BI開發(fā)人員來提出。業(yè)務分析建模需要由專業(yè)的業(yè)務人員且具備數據分析思維意識的人員來推進和主導,再輔助合適的數據分析、挖掘或統(tǒng)計工具,這樣商業(yè)智能BI的價值才能在企業(yè)得到充分的發(fā)揮,數據的價值也才會得到充分的體現(xiàn)。 四、商業(yè)智能BI的工作原理 那么BI到底是如何工作的?商業(yè)智能BI是一個復雜的技術集合,它包含ETL、DW、OLAP、DM等多個環(huán)節(jié)(這里的幾個名詞后文會有詳細解釋)。如圖所示,簡單的說,就是把交易系統(tǒng)已經發(fā)生過的數據,通過ETL工具抽取到主題明確的數據倉庫中,OLAP處理后生成Cube或報表,透過Portal展現(xiàn)給用戶,用戶利用這些經過分類(Classification)、聚集(Clustering)、描述和可視化(Description and Visualization)的數據,支持業(yè)務決策。 1.ODS(Operational Data Store) ODS是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統(tǒng)的部分特征,它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據。一般在帶有ODS的系統(tǒng)體系結構中,ODS都設計都有如下特點: (1)在業(yè)務系統(tǒng)和數據倉庫之間的數據過渡層:如果業(yè)務數據來源比較復雜,一般采用構造ODS的方法來實現(xiàn)收集當前需要處理的數據。如下述數據來源:①業(yè)務數據庫種類繁多。業(yè)務交易系統(tǒng)使用了不同種的數據庫,如DB2、Informix、Oracle、SQL server、文本等;②不同的應用系統(tǒng)、不同的地理位置;③訂閱數據源;④批量還原非傳統(tǒng)數據庫數據……等等。用于存放從業(yè)務系統(tǒng)直接抽取出來的數據,這些數據從數據結構、數據之間的邏輯關系上都與業(yè)務系統(tǒng)基本保持一致。 (2) 保存當前或接近當前的細節(jié)數據,以供查詢或ETL檢錯使用。 (3) 數據存儲周期性。ODS中存儲的數據都是臨時的,每次ETL之前都要清空ODS中存儲的數據。 2.ETL(Extract Transform Load) 操作型業(yè)務數據庫(DB)到數據倉庫(DW)的過程稱之為ETL,它實現(xiàn)數據的抽取,轉換及裝載工作。①抽?。簩祿母鞣N原始的業(yè)務系統(tǒng)中讀取出來;②轉換:按照預先設計好的規(guī)則將抽取得數據進行轉換、清洗,以及處理一些冗余、歧義的數據,使本來異構的數據格式能統(tǒng)一起來;③裝載:將轉換完的數據按計劃增量或全部的導入到數據倉庫中; 3.DW(Data Warehouse) 數據倉庫 數據倉庫的官方定義是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集合,用于支持管理決策。數據倉庫的特點:面向主題;集成;非易失;時間軸。數據庫與數據倉庫的區(qū)別: 4.OLAP(On-Line Analytical Processing) 即聯(lián)機分析處理,是BI的一種全新的數據封裝方式,直接產物是報表或Cube(如圖所示),是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數據的更深入了解的一類軟件技術。 說到OLAP,我們會很自然地想起OLTP(聯(lián)機事務處理系統(tǒng)),現(xiàn)在來比較一下OLTP與OLAP的區(qū)別,如下所述: 5.數據可視化展示 數據查詢是最簡單的BI應用,輸出可視化報表是BI最直接的產物,根據數據連接,加工過程及用途,應用模式大致可以分為以下四種: ①格式報表:帶格式的數據集合,如:交叉表等; ②在線分析:多維數據集合,如:Cube等; ③數據可視化:信息以盡可能多的形式展現(xiàn)出來,目的是使決策者通過圖形這種直觀的表現(xiàn)方式迅速獲得信息中蘊藏的知識,如柱圖,儀表盤等; ④數據挖掘:從大量的數據中,抽取出潛在的、有價值的知識(模型或規(guī)則)的過程。 五、商業(yè)智能BI項目的實施步驟 1.業(yè)務分析需求的把控 對于很多準備或者正在規(guī)劃商業(yè)智能BI項目的企業(yè)來說,業(yè)務分析需求的梳理是整個項目開始的第一步,往往也是最困難的,主要表現(xiàn)如下:業(yè)務部門往往提不出比較具體的分析需求,而IT部門很難深入到業(yè)務,也提不出適合業(yè)務部門的分析需求。BI項目需求分析涉及到很多部門,有的時候內部資源的溝通、協(xié)調都是很困難的... 那如何能夠非常清晰的梳理好一個完整的業(yè)務分析需求,并且能夠用業(yè)務部門能夠理解的語言進行有效溝通?正確的做法是,提供方案的原型圖,這樣能激發(fā)業(yè)務人員說出需求的欲望,并讓雙方站在可以相互理解的角度溝通,最終出來的效果也能更好的符合企業(yè)的期望。 2.數據資源的整合清洗 企業(yè)的數據可能是來自外部系統(tǒng),也可能來自內部的不同業(yè)務系統(tǒng),比如CRM系統(tǒng)、ERP系統(tǒng),或者業(yè)務人員的Execl表格, 這些統(tǒng)稱為數據源。這些數據通過ETL工具原封不動的抽取到一個叫做ODS或者STAGING的數據庫先存放起來。這里需要注意數據是存放在一些數據表中,但是并不是所有的數據都需要抽取出來,只有有用的數據才會被抽取。涉及到一些數據需要去重、合并計算、格式轉換,比如 15/10/22 轉換成 2015-10-22等都屬于轉化階段;加載階段是,最后把數據統(tǒng)一加載到數據倉庫 中。 3.數據倉庫的架構設計 數據倉庫的開發(fā),可以理解為一種技術,也可以理解為一種方法論或解決方案。在商業(yè)智能BI中,數據倉庫就是最核心的那一層,起到的就是一個承上啟下的作用。往下承接各類數據源中的數據,往上支撐各類可視化分析報表。數據倉庫的構建水平將直接影響到商業(yè)智能BI項目的整體質量。 4.可視化分析報表邏輯設計 這里的可視化分析報表的邏輯設計主要是依據前期的業(yè)務人員搭建的數據指標體系而定,主題利用常見的可視化圖表來做業(yè)務數據的展現(xiàn),這里DataHunter就能幫到你了。Data Analytics是一個輕量級業(yè)務數據可視化平臺,可一鍵快速接入企業(yè)本地和云端內外部Execl/CSV等數據文件,無需編程僅需簡單的拖拽即可制作酷炫的數據可視化看板,用直觀的數據幫你做更好的決策。 六、小結 商業(yè)智能BI的表象是可視化分析報表的呈現(xiàn),但它的本質還是業(yè)務問題、管理問題。商業(yè)智能BI數據分析來源于業(yè)務,通過數據呈現(xiàn)發(fā)現(xiàn)業(yè)務問題,比如好的或不好的,經驗之內或之外的 ,然后再次回到業(yè)務,重新優(yōu)化提升業(yè)務運營的一個過程,這就是在商業(yè)智能 BI 中數據到信息、信息產生決策、決策產生價值的真正內涵。 -數據分析展示就用DataHunter |
|