數(shù)字化轉(zhuǎn)型需要哪些數(shù)據(jù)產(chǎn)品？（附數(shù)據(jù)產(chǎn)品架構(gòu)圖）

wuhancar 2023-02-15 發(fā)布于湖北

展開(kāi)全文

一、數(shù)據(jù)采集相關(guān)產(chǎn)品

數(shù)字化包含兩層含義，其一是線上化，也就是把過(guò)去線下的、手工的低效業(yè)務(wù)過(guò)程線上化流程化，以提升人效，同時(shí)建立數(shù)據(jù)采集的基礎(chǔ)。其二是數(shù)據(jù)化，把線上化的業(yè)務(wù)流程數(shù)據(jù)采集下來(lái)，為后期的業(yè)務(wù)化、智能化提供基礎(chǔ)數(shù)據(jù)源。所以，在數(shù)據(jù)采集環(huán)境，主要涉及的數(shù)據(jù)產(chǎn)品包括：

1.數(shù)據(jù)采集范圍與標(biāo)準(zhǔn)定義（必須）

互聯(lián)網(wǎng)行業(yè)畢竟熟悉埋點(diǎn)一詞，埋點(diǎn)也是很多公司的“痛”。埋點(diǎn)不規(guī)范，數(shù)據(jù)兩行淚。先污染后治理勢(shì)必帶來(lái)后期數(shù)據(jù)應(yīng)用清洗的資源浪費(fèi)。所以，為了減少踩坑，需要事先確立不同數(shù)據(jù)源、數(shù)據(jù)類(lèi)型的數(shù)據(jù)采集規(guī)范，針對(duì)App、小程序等產(chǎn)品需要建立統(tǒng)一埋點(diǎn)規(guī)范和采集方案，其他的智能硬件、傳感器設(shè)備或者三方數(shù)據(jù)源，需求定義不同來(lái)源的數(shù)據(jù)傳輸格式。

2.埋點(diǎn)管理系統(tǒng)（可選）

將埋點(diǎn)規(guī)范集成到數(shù)據(jù)管理后臺(tái)中，讓整個(gè)埋點(diǎn)流程線上化流轉(zhuǎn)，提升埋點(diǎn)工作的規(guī)范化程度，減少漏埋和錯(cuò)埋。即使像一些用戶(hù)行為分析系統(tǒng)力推的無(wú)埋點(diǎn)或可視化埋點(diǎn)，也都有埋點(diǎn)數(shù)據(jù)管理模塊提供界面化的指標(biāo)定義能力。早期的埋點(diǎn)規(guī)則主要靠excel世代相傳

3.數(shù)據(jù)同步或集成系統(tǒng)（必須）

這一模塊既可以單獨(dú)存在，也可以和大數(shù)據(jù)開(kāi)發(fā)平臺(tái)耦合，其主要作用是提供源到端的數(shù)據(jù)同步功能，即選擇數(shù)據(jù)來(lái)源以及希望數(shù)據(jù)同步到的目標(biāo)為主，針對(duì)不同的源、目標(biāo)設(shè)置參數(shù)、任務(wù)調(diào)度頻率和策略即可?，F(xiàn)在比較時(shí)髦的一個(gè)詞叫數(shù)據(jù)一鍵入湖。一鍵自動(dòng)化實(shí)現(xiàn)非結(jié)構(gòu)化（音視頻等）、結(jié)構(gòu)化數(shù)據(jù)到中央數(shù)據(jù)湖，以供后期處理消費(fèi)?；氐角懊嬷v過(guò)的大廚做菜的例子，數(shù)據(jù)集成工具就比如自動(dòng)化的收割工具，過(guò)去因?yàn)槭止谧?，食材?shù)量、種類(lèi)有限，當(dāng)機(jī)械化生產(chǎn)后，豐盈度大大提升。

二、數(shù)據(jù)加工與處理工具

1.離線開(kāi)發(fā)平臺(tái)（必須）

匯聚入湖的數(shù)據(jù)需要加工處理才能發(fā)揮其價(jià)值，尤其對(duì)于湖倉(cāng)一體的架構(gòu)中，涉及到結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)模塊的開(kāi)發(fā)。按照業(yè)務(wù)需求的邏輯對(duì)數(shù)據(jù)進(jìn)行ETL處理，輸出一個(gè)個(gè)的數(shù)據(jù)模型。對(duì)于離線開(kāi)發(fā)平臺(tái)主要功能應(yīng)包括：

存儲(chǔ)&計(jì)算層：資源的自動(dòng)化分配（主要是集群資源的調(diào)度），數(shù)據(jù)開(kāi)發(fā)主要關(guān)注業(yè)務(wù)邏輯，而不需要人人都搭一套hadoop

任務(wù)開(kāi)發(fā)層：IDE可視化任務(wù)開(kāi)發(fā)，除了核心的數(shù)據(jù)處理邏輯需要代碼實(shí)現(xiàn)外，其他的參數(shù)設(shè)置都可以配置化，且平臺(tái)需要支撐Hive、Shell、python等常用數(shù)據(jù)開(kāi)發(fā)和挖掘任務(wù)類(lèi)型。

任務(wù)調(diào)度：數(shù)據(jù)有嚴(yán)格的上下游關(guān)系，只有上游數(shù)據(jù)任務(wù)運(yùn)行成功數(shù)據(jù)加工完成后，下游數(shù)據(jù)才準(zhǔn)確，所以一般任務(wù)不會(huì)單獨(dú)存在，需要建立依賴(lài)關(guān)系，此外，周期性的數(shù)據(jù)也不能每天手動(dòng)點(diǎn)一下，還需要時(shí)間調(diào)度，根據(jù)需求設(shè)定是每分鐘、小時(shí)還是天月執(zhí)行，在什么時(shí)間執(zhí)行等。

任務(wù)運(yùn)維：修改邏輯、上游出錯(cuò)、集群資源不穩(wěn)定等經(jīng)常需要涉及數(shù)據(jù)回溯、任務(wù)重跑等操作，提供批量、自動(dòng)化的操作可以節(jié)省大量運(yùn)維時(shí)間。

2.實(shí)時(shí)開(kāi)發(fā)平臺(tái)（必須）

實(shí)時(shí)數(shù)據(jù)主要滿(mǎn)足實(shí)時(shí)數(shù)據(jù)監(jiān)控，產(chǎn)品端實(shí)時(shí)搜索、推薦或?qū)崟r(shí)場(chǎng)景化營(yíng)銷(xiāo)，實(shí)時(shí)開(kāi)發(fā)和離線開(kāi)發(fā)主要在技術(shù)組件上的差別，產(chǎn)品功能模塊大同小異，也可以把整合形成批流一體化的一站式大數(shù)據(jù)開(kāi)發(fā)運(yùn)維平臺(tái)。

3.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)工具（可選）

主要是將數(shù)據(jù)模型開(kāi)發(fā)規(guī)范和流程融入到系統(tǒng)當(dāng)中，是一種低代碼的思想減少數(shù)倉(cāng)建模的開(kāi)發(fā)代碼開(kāi)發(fā)，提升模型的規(guī)范化和復(fù)用性，比如阿里的Datapin，系統(tǒng)化的好處在于方便前置化管理建模過(guò)程，而不是先污染后治理，弊端是可能沒(méi)有開(kāi)發(fā)自己寫(xiě)代碼那么靈活，所以可以作為可選模塊。

三、數(shù)據(jù)資產(chǎn)管理和治理產(chǎn)品

1.數(shù)據(jù)地圖（必須）

酒香也怕巷子深，數(shù)據(jù)模型開(kāi)發(fā)完了，找得到、敢使用才能提升復(fù)用性，數(shù)據(jù)地圖通過(guò)資產(chǎn)目錄共享和強(qiáng)大的數(shù)據(jù)檢索能力，提供逛數(shù)據(jù)、找數(shù)據(jù)的能力，同時(shí)需要具備豐富的模型元數(shù)據(jù)信息，讓數(shù)據(jù)消費(fèi)者快速判斷是不是自己所需要的數(shù)據(jù)，如何使用。

2.數(shù)據(jù)質(zhì)量監(jiān)控（必須）

數(shù)據(jù)不準(zhǔn)可以說(shuō)是業(yè)務(wù)和數(shù)據(jù)團(tuán)隊(duì)最頭疼的問(wèn)題之一，業(yè)務(wù)拿到數(shù)據(jù)不敢用，先來(lái)問(wèn)下開(kāi)發(fā)準(zhǔn)不準(zhǔn)，開(kāi)發(fā)不自信，看了任務(wù)看了代碼說(shuō)應(yīng)該沒(méi)問(wèn)題。數(shù)據(jù)質(zhì)量監(jiān)控圍繞一致性、及時(shí)性、完整性、準(zhǔn)確性維度構(gòu)建豐富靈活的數(shù)據(jù)質(zhì)量規(guī)則配置和自動(dòng)化預(yù)警能力，讓數(shù)據(jù)開(kāi)發(fā)人員更自信，只要監(jiān)控沒(méi)報(bào)警，就可以拍著胸脯說(shuō)，是不是業(yè)務(wù)上有什么變化。

3.數(shù)據(jù)血緣（必須）

主要解決數(shù)據(jù)的追根溯源的問(wèn)題，例如數(shù)據(jù)異常，需要通知下游業(yè)務(wù)，數(shù)據(jù)治理時(shí)需要下線或者刪除，下游有沒(méi)有人在使用，沒(méi)有血緣就不敢治理，數(shù)據(jù)&服務(wù)只增不減。

4.數(shù)據(jù)成本優(yōu)化（必須）

雖然說(shuō)大家默認(rèn)數(shù)據(jù)部門(mén)是成本中心，但是在這個(gè)寒冬之下，也要勒緊褲腰帶，雖不能開(kāi)源但總要節(jié)流，哪些數(shù)據(jù)長(zhǎng)期無(wú)人使用可以歸檔或刪除，哪些任務(wù)SQL性能奇差一個(gè)任務(wù)執(zhí)行10多個(gè)小時(shí)，消耗大量CPU、GPU？數(shù)據(jù)成本優(yōu)化核心目標(biāo)是建立數(shù)據(jù)健康分評(píng)價(jià)體系，自動(dòng)化檢測(cè)治理目標(biāo)，并提供歸檔、刪除等自動(dòng)化治理動(dòng)作，從而釋放服務(wù)器資源，常態(tài)化做減法。

5.統(tǒng)一數(shù)據(jù)權(quán)限（必須）

數(shù)據(jù)安全問(wèn)題事關(guān)企業(yè)生死存亡和數(shù)據(jù)團(tuán)隊(duì)的“錢(qián)途”，統(tǒng)一權(quán)限主要是建立數(shù)據(jù)資產(chǎn)權(quán)限申請(qǐng)、授權(quán)、審計(jì)對(duì)應(yīng)的流程，從而保證數(shù)據(jù)既共享又安全。

四、數(shù)據(jù)決策與智能應(yīng)用

1.數(shù)據(jù)可視化分析（必須）

這里主要指主題式數(shù)據(jù)分析報(bào)表，可以是定制化開(kāi)發(fā)，也可以是基于自助BI工具配置。其主要目標(biāo)是提供業(yè)務(wù)經(jīng)營(yíng)管理的核心指標(biāo)體系的可視化分析能力。不能讓老板每天自己使用自助BI拖拉拽吧。例如一些管理駕駛艙Dashboard或者可視化大屏。

2.現(xiàn)代自助式BI分析（必須）

Tableau在被saleforce 以157億美金收購(gòu)后，在21年底宣布退出中國(guó)市場(chǎng)，作為BI工具的鼻祖，功能非常完善和強(qiáng)大，為什么水土不服呢？主要原因是它的目標(biāo)用戶(hù)是數(shù)據(jù)分析師，功能的復(fù)雜度導(dǎo)致學(xué)習(xí)理解成本高，數(shù)字化轉(zhuǎn)型時(shí)代要求的是數(shù)據(jù)民主和普惠，人人都是數(shù)據(jù)分析師，所以相比較tableau，現(xiàn)在國(guó)內(nèi)的一些云廠商（QuickBI、火山引擎等）和BI產(chǎn)品（觀遠(yuǎn)數(shù)據(jù)）更能滿(mǎn)足讓一線業(yè)務(wù)人員用數(shù)據(jù)的需求。有了現(xiàn)代BI，數(shù)據(jù)人員聚焦模型開(kāi)發(fā)和數(shù)據(jù)基建，業(yè)務(wù)人員拖拽分析，自己配置可視化Dashboard，不再純依賴(lài)數(shù)據(jù)團(tuán)隊(duì)的臨時(shí)SQL取數(shù)，或者定制化的可視化頁(yè)面開(kāi)發(fā)了。

3.用戶(hù)行為分析系統(tǒng)（可選）

2015年用戶(hù)增長(zhǎng)、增長(zhǎng)黑客理論火爆的時(shí)候，很多中小型互聯(lián)網(wǎng)企業(yè)紛紛購(gòu)買(mǎi)神策、GrowingIO等用戶(hù)行為分析系統(tǒng)。其好處是可以提供用戶(hù)行為數(shù)據(jù)從采集到自助式分析的能力，但數(shù)據(jù)層面更多的聚焦在流量數(shù)據(jù)，對(duì)其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)支持性相對(duì)較弱?，F(xiàn)代自助BI可以包含用戶(hù)行為的模型數(shù)據(jù)，所以包容性更強(qiáng)。

4.數(shù)字化營(yíng)銷(xiāo)CDP或DMP（必須）

基于大數(shù)據(jù)計(jì)算和數(shù)據(jù)挖掘技術(shù)，構(gòu)建用戶(hù)畫(huà)像標(biāo)簽體系，用戶(hù)圈選、精細(xì)化分層，進(jìn)行差異化運(yùn)營(yíng)和營(yíng)銷(xiāo)觸達(dá)，提升運(yùn)營(yíng)ROI。業(yè)務(wù)同學(xué)可基于平臺(tái)實(shí)現(xiàn)從人群圈選、場(chǎng)景構(gòu)建、觸達(dá)投放、效果回收的閉環(huán)，同時(shí)，基于算法挖掘標(biāo)簽及模型推薦的人群組合，從基于人的經(jīng)驗(yàn)運(yùn)營(yíng)，到基于大數(shù)據(jù)算法推薦的智能運(yùn)營(yíng)。一般企業(yè)內(nèi)部私域流量運(yùn)營(yíng)稱(chēng)之為CDP（客戶(hù)數(shù)據(jù)管理平臺(tái)），流量變現(xiàn)的企業(yè)稱(chēng)之為DMP（數(shù)據(jù)管理平臺(tái)），如騰訊廣點(diǎn)通、阿里達(dá)摩盤(pán)。

5.算法平臺(tái)（可選）

數(shù)字化轉(zhuǎn)型高級(jí)層次是智能化，要想AI服務(wù)開(kāi)發(fā)更加高效，甚至產(chǎn)品、運(yùn)營(yíng)都可以配置一個(gè)推薦服務(wù)接口，這時(shí)機(jī)器學(xué)習(xí)或者叫算法平臺(tái)就可以派上用場(chǎng)了。對(duì)于算法開(kāi)發(fā)，主要是提供從資源調(diào)度（CPU、GPU等）、離在線數(shù)據(jù)獲取、特性開(kāi)發(fā)、模型訓(xùn)練、推理服務(wù)全流程的算法工作臺(tái)，從而提升算法中臺(tái)化輸出的能力，甚至可以通過(guò)模型節(jié)點(diǎn)拖拽實(shí)現(xiàn)無(wú)代碼化的算法服務(wù)上線。

6.數(shù)據(jù)服務(wù)管理（可選）

有人也把數(shù)據(jù)中臺(tái)稱(chēng)之為DAAS，即數(shù)據(jù)即服務(wù)，數(shù)據(jù)如何快速輸出業(yè)務(wù)端，賦能產(chǎn)品創(chuàng)新。API服務(wù)統(tǒng)一管理，建立完善的應(yīng)用血緣關(guān)系，提供通用接口的配置化生成能力，降低對(duì)Java開(kāi)發(fā)的依賴(lài)。數(shù)據(jù)中臺(tái)思想下，數(shù)據(jù)服務(wù)API輸出是應(yīng)用輸出的最主要形式，數(shù)據(jù)服務(wù)管理平臺(tái)一方面要具備將數(shù)據(jù)資產(chǎn)自助配置化輸出的能力，即數(shù)倉(cāng)清洗好的數(shù)據(jù)模型，數(shù)據(jù)開(kāi)發(fā)或業(yè)務(wù)人員可以通過(guò)入?yún)?、出參的可視化配置生成API接口，不需要接口開(kāi)發(fā)介入。同時(shí)也要把API資產(chǎn)化管理，API接口文檔、應(yīng)用調(diào)用情況做到可追蹤、可監(jiān)控。

五、總結(jié)

廣義數(shù)據(jù)產(chǎn)品的定義是凡是可以提升數(shù)據(jù)從采、存、管、算、用全流程效率，促進(jìn)數(shù)據(jù)價(jià)值輸出的相關(guān)產(chǎn)品都可以歸結(jié)為數(shù)據(jù)產(chǎn)品，在數(shù)字化轉(zhuǎn)型過(guò)程中涉及的產(chǎn)品大大小小二三十款，但總體產(chǎn)品矩陣大同小異。而且現(xiàn)在幾乎每個(gè)細(xì)分領(lǐng)域都有成熟的商業(yè)化數(shù)據(jù)產(chǎn)品版本，企業(yè)在實(shí)際數(shù)字化轉(zhuǎn)型的過(guò)程中可以根據(jù)研發(fā)資源、投入時(shí)間及財(cái)務(wù)成本、數(shù)據(jù)安全等多個(gè)方面綜合評(píng)估，哪些選擇外采，哪些自主研發(fā)。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶(hù)發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來(lái)自： wuhancar > 《數(shù)字化轉(zhuǎn)型》

舉報(bào)/認(rèn)領(lǐng)