吉利集團數(shù)字化轉(zhuǎn)型提速，DataPipeline助力集團化實時數(shù)據(jù)采集同步平臺建設(shè)

劉振東 2021-12-13

展開全文

9月20日，吉利集團和DataPipeline公司共同宣布，DataPipeline協(xié)助吉利集團搭建的集團化實時數(shù)據(jù)采集同步平臺正式投入使用。該項目的實施對于推動吉利集團實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)規(guī)范化和集約化管理、增強其持久核心競爭力具有重要意義。

1986年誕生的吉利集團，經(jīng)過34年的發(fā)展，確立了其中國品牌汽車領(lǐng)袖的市場地位，進入全球汽車行業(yè)第一陣營。2019年，吉利集團旗下各品牌在全球累計銷售汽車超217.8萬輛，市占率從6.2%提升至6.5%，全年營收974億元，凈利潤82.6億元。在全球汽車市場遇冷的情況下，吉利集團實現(xiàn)逆勢增長，這與吉利集團由上至下地堅持數(shù)字化轉(zhuǎn)型策略密不可分。

圖片來源：浙江吉利控股集團官網(wǎng)

為能最大化挖掘數(shù)據(jù)價值，賦能業(yè)務(wù)發(fā)展，大數(shù)據(jù)已經(jīng)成為吉利集團的關(guān)鍵生命線。而數(shù)據(jù)融合作為大數(shù)據(jù)的基石，更是至關(guān)重要。為了支持實時營銷、智能駕駛、智能制造等實時數(shù)據(jù)應(yīng)用場景，就要求實時數(shù)據(jù)融合平臺能夠支持企業(yè)內(nèi)各類數(shù)據(jù)管理技術(shù)秒級延遲的實時數(shù)據(jù)獲取。而要實現(xiàn)營銷系統(tǒng)、ERP系統(tǒng)、分析系統(tǒng)等系統(tǒng)產(chǎn)生的數(shù)十億條數(shù)據(jù)的整合，打通Oracle、SQL Server、MySQL、Kafka、Hive、API等數(shù)據(jù)源到Hive、MySQL、HBase、Kafka等目的地之間的高效數(shù)據(jù)交互，絕非輕而易舉。

吉利集團大數(shù)據(jù)應(yīng)用部部長王正明表示：企業(yè)數(shù)字化轉(zhuǎn)型的最大要求，是支持企業(yè)的精益管理與敏捷運作。而提升效率、實現(xiàn)信息敏捷，離不開信息化、互聯(lián)網(wǎng)化。在這個過程中，數(shù)據(jù)的驅(qū)動尤其重要。數(shù)據(jù)是改變的考量依據(jù)，數(shù)據(jù)驅(qū)動產(chǎn)品的創(chuàng)新、研發(fā)的質(zhì)量、流程的優(yōu)化及再造、新的營銷模式和商業(yè)模式的變革。借助DataPipeline實時數(shù)據(jù)融合產(chǎn)品構(gòu)建的集團化實時數(shù)據(jù)采集同步平臺，實現(xiàn)了整個集團實時數(shù)據(jù)的采集、融合與同步，為集團數(shù)字化轉(zhuǎn)型奠定了堅實的基礎(chǔ)。未來雙方將在更多場景進行探索，推動更多實時應(yīng)用落地。

隨著基于DataPipeline實時數(shù)據(jù)融合產(chǎn)品構(gòu)建的集團化實時數(shù)據(jù)采集同步平臺的上線，吉利集團中臺戰(zhàn)略的實施又向前邁出了扎實的一步，存儲在近十種不同數(shù)據(jù)庫中的異構(gòu)數(shù)據(jù)被打通，海量的數(shù)據(jù)被匯聚、分發(fā)；數(shù)百個實時數(shù)據(jù)任務(wù)為從業(yè)務(wù)運營到經(jīng)營決策的各個部門，從4S店精準營銷、生產(chǎn)線質(zhì)量控制到車聯(lián)網(wǎng)業(yè)務(wù)的各類場景提供準確、可靠、一致的批量與實時數(shù)據(jù)。

DataPipeline 實時數(shù)據(jù)融合產(chǎn)品通過多種實時數(shù)據(jù)技術(shù)，支持廣泛的數(shù)據(jù)節(jié)點類型，協(xié)助吉利集團構(gòu)建以業(yè)務(wù)目標為導(dǎo)向的數(shù)據(jù)鏈路，按需快速定制、部署、執(zhí)行數(shù)據(jù)任務(wù)，以支持從傳統(tǒng)數(shù)據(jù)處理到實時數(shù)據(jù)應(yīng)用的各類場景。

基于日志的實時增量數(shù)據(jù)獲取技術(shù)保證實時數(shù)據(jù)全面、準確。DataPipeline 實時數(shù)據(jù)融合產(chǎn)品支持數(shù)十種主流數(shù)據(jù)庫作為數(shù)據(jù)節(jié)點，打破企業(yè)域內(nèi)各類異構(gòu)數(shù)據(jù)技術(shù)構(gòu)成的樊籬，讓存儲在不同類型數(shù)據(jù)節(jié)點中的數(shù)據(jù)隨需可得；采用基于日志的增量數(shù)據(jù)獲取技術(shù)(Log-based change data capture)，為主數(shù)據(jù)管理、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺提供實時、準確的數(shù)據(jù)變化，從而使得客戶可以根據(jù)最新數(shù)據(jù)進行運營管理與決策制定；支持一對多數(shù)據(jù)分發(fā)，針對數(shù)據(jù)分發(fā)、外部數(shù)據(jù)管理等場景，確保整個企業(yè)使用的數(shù)據(jù)準確、可靠、一致。

使用分層管理按需服務(wù)的配置型平臺來提升 IT 敏捷開發(fā)效率。一方面保證數(shù)據(jù)節(jié)點的安全性、穩(wěn)定性、業(yè)務(wù)連續(xù)性，一方面為數(shù)據(jù)應(yīng)用提供更多的自主性，使客戶可以將數(shù)據(jù)獲取的范圍、數(shù)據(jù)任務(wù)的生命周期、系統(tǒng)資源投入的多寡等權(quán)限更多的交給實際使用數(shù)據(jù)的業(yè)務(wù)部門及應(yīng)用開發(fā)人員。提升敏捷開發(fā)效率，實現(xiàn)多速 IT，從而在業(yè)務(wù)需求變化時從容應(yīng)對，達成數(shù)字化轉(zhuǎn)型目標。

通過高容錯的分布式系統(tǒng)和卓越的性能來降低風(fēng)險。無論是在不同系統(tǒng)間進行數(shù)據(jù)傳遞還是將不同系統(tǒng)的數(shù)據(jù)進行融合，業(yè)務(wù)連續(xù)性、穩(wěn)定性及性能都至關(guān)重要，DataPipeline實時數(shù)據(jù)融合所有組件均支持高可用，融合引擎基于容器化分布式集群部署，支持動態(tài)擴縮容；在節(jié)點管理、鏈路管理、任務(wù)管理中均有各個層次穩(wěn)定性相關(guān)策略配置。針對數(shù)據(jù)采集、消息隊列及數(shù)據(jù)加載的各個組件都進行了一系列專門的性能優(yōu)化，完全滿足客戶從數(shù)據(jù)遷移、數(shù)據(jù)交換到實時數(shù)據(jù)服務(wù)、實時數(shù)據(jù)分析的各類時間窗口要求和時效性要求。

使用專業(yè)化商業(yè)套件來降低基礎(chǔ)平臺研發(fā)成本。DataPipeline 實時數(shù)據(jù)融合產(chǎn)品作為專業(yè)化商業(yè)套件，通過多年在各個行業(yè)的數(shù)據(jù)融合領(lǐng)域經(jīng)驗積累，將各類專業(yè)數(shù)據(jù)融合技術(shù)以專業(yè)化產(chǎn)品的方式按照數(shù)據(jù)節(jié)點、數(shù)據(jù)鏈路、融合任務(wù)、系統(tǒng)資源四個邏輯概念，基本配置、限制配置、策略配置三個層次提供給用戶進行配置式構(gòu)建，大大降低了企業(yè)搭建基礎(chǔ)平臺的研發(fā)成本與運維成本，讓客戶能夠?qū)r間精力與優(yōu)質(zhì)資源投入到數(shù)據(jù)價值釋放與商業(yè)價值實現(xiàn)上去。