一周活動早知道｜分布式存儲架構(gòu)設(shè)計與運維、主流監(jiān)控工具日常應(yīng)用、電信行業(yè)大數(shù)據(jù)分析平臺容器化改造、K...

yi321yi 2020-05-05

展開全文

社區(qū)每周均組織線上線下交流探討，并邀請領(lǐng)域內(nèi)專家分享、答疑，歡迎參與！

Zabbix、Prometheus等主流監(jiān)控工具日常應(yīng)用在線答疑
4月1日-4月10日

Linux系統(tǒng)在企業(yè)中的應(yīng)用程度已經(jīng)非常廣泛，人們聽到過太多關(guān)于Docker和Kubernetes的消息，以至于忘記了監(jiān)控和日志記錄也是同樣重要的任務(wù)。Docker持續(xù)發(fā)展，隨之而來的是圍繞它構(gòu)建的服務(wù)生態(tài)系統(tǒng)的成長。雖然部署系統(tǒng)主要涉及在系統(tǒng)內(nèi)運行單個應(yīng)用程序或服務(wù)，但隨著部署規(guī)模越來越大，不僅僅是在操作系統(tǒng)或應(yīng)用程序級別，了解環(huán)境狀態(tài)和運行狀況也變得越來越重要。

監(jiān)控和測試工具分為實時數(shù)據(jù)庫、數(shù)據(jù)采集工具、可視化工具、意見反饋工具、日志記錄器等等。在過去的幾年里，開源產(chǎn)品和商業(yè)監(jiān)控應(yīng)用程序發(fā)生了爆炸式增長，涌現(xiàn)出了一批優(yōu)秀，且應(yīng)用廣泛的監(jiān)控工具，如Zabbix、Prometheus等。由于企業(yè)在監(jiān)控工具的可選性上越來越大，同時隨著企業(yè)各系統(tǒng)的增加及多樣化，多個系統(tǒng)應(yīng)用多個監(jiān)控工具的情況越來越多，這給眾多的系統(tǒng)運維人員帶來了一定的困擾，需要應(yīng)用和運維多個工具。因此，這就要求系統(tǒng)運維人員要掌握多個監(jiān)控工具，以及解決這些工具在日常應(yīng)用中的各種故障，難題等。

在本次答疑活動，twt社區(qū)邀請了多位Zabbix、Prometheus等監(jiān)控工具的應(yīng)用高手，在線幫助大家解答這些Zabbix、Prometheus等監(jiān)控工具的日常應(yīng)用問題。大家可以將如下范圍的問題發(fā)布到本次活動中：

1、關(guān)于監(jiān)控工具/產(chǎn)品選型；

2、關(guān)于監(jiān)控工具/產(chǎn)品應(yīng)用過程遇到的具體問題；

3、關(guān)于監(jiān)控工具/產(chǎn)品應(yīng)用現(xiàn)狀。

活動地址：

http://www./activity/?id=1539

電信行業(yè)如何基于OpenShift實現(xiàn)大數(shù)據(jù)分析平臺容器化改造
4月2日

隨著電信行業(yè)信息化速度的加快，不同類型的數(shù)據(jù)皆呈現(xiàn)出爆發(fā)性的增長并質(zhì)變成大數(shù)據(jù)。隨著海量、細(xì)致的新數(shù)據(jù)源的不斷呈現(xiàn)，大數(shù)據(jù)在運營、策劃、營銷等方面的應(yīng)用，得到不同層面的技術(shù)指標(biāo)，產(chǎn)生系列的報表并反饋在生產(chǎn)和運營中，大數(shù)據(jù)價值的挖掘應(yīng)用成為智慧企業(yè)發(fā)展的所迫切需要邁出的重要一步。基于海量數(shù)據(jù)的存儲技術(shù)、挖掘技術(shù)、計算技術(shù)、剖析技術(shù)等各種技術(shù)的飛速進(jìn)步，使企業(yè)可以深化發(fā)掘大數(shù)據(jù)的發(fā)展?jié)摿?，?yīng)用以往無法應(yīng)用的商業(yè)信息，從而發(fā)現(xiàn)大量的商機(jī)。自2012年發(fā)展至今，大數(shù)據(jù)已經(jīng)滲透到了每個行業(yè)和業(yè)務(wù)領(lǐng)域，逐漸成為重要的生產(chǎn)因素。但是，傳統(tǒng)的信息化系統(tǒng)和工具逐漸無法承載如此龐大的數(shù)據(jù)存儲和運算，分析效率逐步地下，以至于無法勝任數(shù)據(jù)挖掘分析的需求。在這種情況下，決策者們往往向大數(shù)據(jù)靠攏，對原有信息系統(tǒng)進(jìn)行改造，去擁抱真正意義上的大數(shù)據(jù)資產(chǎn)。面對如此龐大而復(fù)雜的數(shù)據(jù)的處理需求，傳統(tǒng)架構(gòu)無法完全解決大數(shù)據(jù)平臺的需求，電信企業(yè)開始嘗試專門設(shè)計基于云計算、面向數(shù)據(jù)挖掘和數(shù)據(jù)可視化等領(lǐng)域的大數(shù)據(jù)服務(wù)容器平臺，主要的應(yīng)用場景包括數(shù)據(jù)的移植、數(shù)據(jù)整合、數(shù)據(jù)處理等，具體建設(shè)難點有：

如何保證性能、穩(wěn)定性及安全性，如果數(shù)據(jù)體量大，容器化是否能撐住
多數(shù)據(jù)庫協(xié)同，如何保證數(shù)據(jù)ACID及跨域訪問
數(shù)據(jù)源的異構(gòu)協(xié)同、數(shù)據(jù)的敏捷抽取問題
硬件資源利用的高效化與多復(fù)用化
資源調(diào)度響應(yīng)的即點即用和流量穿透

針對這些難點和問題，社區(qū)邀請到紅帽電信行業(yè)資深技術(shù)專家趙錫漪，為大家分享電信行業(yè)大數(shù)據(jù)分析平臺基于OpenShift實現(xiàn)容器化改造的解決方案和國外實踐案例，同時在線為大家答疑解惑。此外，紅帽電信行業(yè)數(shù)據(jù)處理PaaS平臺解決方案可通過OpenShift和多個工具組合幫助企業(yè)高效解決如下數(shù)據(jù)處理容器化改造典型需求：

1）傳統(tǒng)數(shù)據(jù)庫如何遷移至PaaS平臺；

2）不做傳統(tǒng)數(shù)據(jù)庫容器化，但應(yīng)用部署在PaaS平臺上，如何去對接數(shù)據(jù)層和應(yīng)用層？；

3）新的應(yīng)用不再借助傳統(tǒng)數(shù)據(jù)庫，如何在直接在PaaS平臺解決數(shù)據(jù)處理問題？

歡迎各位電信行業(yè)會員報名參與本場活動，可以下載資料參考學(xué)習(xí)，還可以在線提出您的問題，與專家在線探討。

支持企業(yè)：

歡迎進(jìn)入紅帽云社區(qū)

redhat.

專家簡介：

趙錫漪紅帽高級解決方案架構(gòu)師

20年IT從業(yè)經(jīng)驗，專注服務(wù)于電信行業(yè)。前后就職于BEA、甲骨文、紅帽公司。伴隨電信運營商的成長，先后為運營商BOSS系統(tǒng)的設(shè)計與演進(jìn)、OSS系統(tǒng)的規(guī)劃與演進(jìn)、省分至總部的集中化等重大決策點設(shè)計做出過努力與貢獻(xiàn)。目前更聚焦于業(yè)務(wù)支撐系統(tǒng)的容器化、PaaS化演進(jìn)；5G/NFV/邊緣計算/AI等新技術(shù)的設(shè)計與落地；IT/CT融合演進(jìn)方案等多種最新技術(shù)理念在電信運營商內(nèi)的推廣與實現(xiàn)。熟悉中間件、數(shù)據(jù)庫、微服務(wù)、DevOps，對IT規(guī)劃、架構(gòu)設(shè)計和項目管理有多年豐富的經(jīng)驗。

郭維廣東聯(lián)通

分別擔(dān)任過聯(lián)通大數(shù)據(jù)產(chǎn)品經(jīng)理，數(shù)據(jù)組組長，數(shù)據(jù)挖掘工程師，大數(shù)據(jù)架構(gòu)師，高級研發(fā)工程師。自2012年來，一直在廣東聯(lián)通數(shù)據(jù)中心工作，先后從事ETL、數(shù)據(jù)庫、數(shù)據(jù)倉庫、hadoop、實時平臺、微服務(wù)，容器云等平臺和應(yīng)用的架構(gòu)和開發(fā)，以及數(shù)據(jù)和平臺的運維，熟悉大數(shù)據(jù)的應(yīng)用工具，以及大數(shù)據(jù)的元數(shù)據(jù)管理和數(shù)據(jù)治理工作。

活動禮品：

本次活動的獎品是書籍《OpenShift在企業(yè)中的實踐：PaaS DevOps 微服務(wù)》，領(lǐng)取方式請聯(lián)系社區(qū)運營及本場活動負(fù)責(zé)人：趙法威（微信號zhaofawei26）

活動地址：

http://www./activity/?id=1535

K8S Docker容器云平臺日常運維在線答疑
3月25日-4月3日

當(dāng)前大中型企業(yè)普遍的共識之一是要以科技為依托，通過科技創(chuàng)新引領(lǐng)銀行的轉(zhuǎn)型升級。云計算、大數(shù)據(jù)、人工智能成為各銀行科技部門重點的投資建設(shè)領(lǐng)域。云計算領(lǐng)域的建設(shè)主要集中在IaaS和PaaS，目標(biāo)是降低數(shù)據(jù)中心成本的同時，為上層應(yīng)用的創(chuàng)新、快速迭代和穩(wěn)定運行提供有效支撐。傳統(tǒng)的IaaS調(diào)度的是虛擬機(jī)或者物理機(jī)，粒度較大，相對傳統(tǒng)的虛擬化技術(shù)，在資源使用率、靈活性和彈性方面提升度并不高。依托傳統(tǒng)IaaS建設(shè)而成的PaaS，也會面臨同樣的問題。而容器技術(shù)恰好可以比較好的解決這些問題，并且在微服務(wù)、DevOps、分布式等方面天生具備優(yōu)勢，因此成為數(shù)據(jù)中心新一代云基礎(chǔ)架構(gòu)的選擇。

建設(shè)k8S docker容器云平臺的意義：1.讓應(yīng)用真正意義上彈性擴(kuò)縮容；2.為應(yīng)用微服務(wù)化提供有力支撐；3.讓應(yīng)用實現(xiàn)自動化故障探測、隔離和恢復(fù)；4.大幅度提升資源使用效率。企業(yè)都在做容器云的建設(shè)的同時，肯定會遇到這樣那樣的問題，因此twt社區(qū)邀請一些k8s docker運維實踐經(jīng)驗比較豐富的專家線上進(jìn)行運維過程中的問題答疑，解決大家日常運維問題。

答疑嘉賓：

Rock, 擔(dān)任某國內(nèi)著名餐飲連鎖企業(yè)運維負(fù)責(zé)人，從事過數(shù)據(jù)庫、大數(shù)據(jù)和容器集群的工作，對DevOps流程和工具方面有比較深刻的理解，具有K8S docker的豐富實踐經(jīng)驗。

活動資料：

基于Docker&Kubernetes構(gòu)建PaaS平臺

活動地址：

http://www./activity/?id=1537

銀行業(yè)分布式存儲架構(gòu)設(shè)計與實施運維難點在線交流
3月16日-3月31日

隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模越來越大，并發(fā)請求越來越高，傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)在性能、價格、可擴(kuò)展性方面已經(jīng)不能很好地滿足需求。谷歌、亞馬遜等互聯(lián)網(wǎng)公司率先在后臺基礎(chǔ)設(shè)施中引入超大規(guī)模分布式存儲系統(tǒng)，用來解決海量數(shù)據(jù)的存儲問題。與傳統(tǒng)的集中式存儲技術(shù)不同，分布式存儲沒有將數(shù)據(jù)存儲在某個或特定節(jié)點上，而是通過網(wǎng)絡(luò)將各個節(jié)點分散的存儲資源匯聚成一個虛擬的存儲設(shè)備，將數(shù)據(jù)分散在各處。相較于集中存儲，分布式存儲成本地，擴(kuò)展性好，弱化了關(guān)系型數(shù)據(jù)模型，可以得到高并發(fā)和高性能。

金融業(yè)務(wù)與服務(wù)，利用信息化技術(shù)持續(xù)改進(jìn)與發(fā)展，已有近30年的歷程，這一發(fā)展過程的各個階段，既有改善了金融服務(wù)，促進(jìn)實體經(jīng)濟(jì)發(fā)展的收益性結(jié)果，也有因各類未知問題造成的事件與影響等經(jīng)驗教訓(xùn)，因此，金融業(yè)務(wù)發(fā)展與信息技術(shù)的改進(jìn)優(yōu)化，是一個互相促進(jìn)、迭代發(fā)展的過程。隨著銀行業(yè)務(wù)數(shù)據(jù)字化水平的提高，配套技術(shù)的基礎(chǔ)建設(shè)和實際運維過程也提上了日程。如何發(fā)揮分布式存儲優(yōu)點，實現(xiàn)線上化的數(shù)字資產(chǎn)交易與服務(wù)業(yè)務(wù)，都是許多銀行企業(yè)在技術(shù)發(fā)展重定位中思考的問題之一。

由于業(yè)務(wù)場景需要不同，很多銀行業(yè)務(wù)需要以HDFS、TFS和Lustre為代表的分布式文件系統(tǒng)，部分業(yè)務(wù)會運用到以Dynamo為代表的分布式鍵值系統(tǒng)和以Bigtable為代表的分布式表格系統(tǒng)，最后是以MongoDB為代表的分布式數(shù)據(jù)庫。如何為不同業(yè)務(wù)需求和使用場景恰如其分的規(guī)劃與選型？在面對國產(chǎn)化安全可靠性前提的前提下，如何保障分布式存儲的穩(wěn)定運行和快速高效的運維管理？分布式存儲系統(tǒng)如何利用自身特性實現(xiàn)建容災(zāi)環(huán)境搭建與業(yè)務(wù)的快速切換？數(shù)據(jù)安全與備份管理是否可以即敏捷又安全的進(jìn)行規(guī)范部署？這些都是銀行也必須要面對的實際問題

在這次交流中，我們將會對銀行業(yè)諸如此類的常見問題，進(jìn)行專家問診與交流討論：

（1）金融行業(yè)如何針對結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行分布式存儲的選型？尤其像客服中心語音數(shù)據(jù)與信貸類交易系統(tǒng)的影像文件等非結(jié)構(gòu)化數(shù)據(jù)，如何既經(jīng)濟(jì)又安全地選擇市場上高口碑和好評的分布式存儲進(jìn)行對接？

（2）集中式存儲向分布式存儲的轉(zhuǎn)型，有哪些技術(shù)難點和運維管理困難？轉(zhuǎn)型前期、中期和后期都有哪些注意的要點，對于渠道類、賬務(wù)類和數(shù)據(jù)報送類業(yè)務(wù)，如何合理、分批次進(jìn)行轉(zhuǎn)型？

（3）從運維的角度看，分布式存儲設(shè)計時要考慮哪些方面？運維管理中的監(jiān)控告警、備份恢復(fù)與異地容災(zāi)等應(yīng)該如何規(guī)劃？

本次線上同行交流，歡迎大家提出目前遇到的各種關(guān)于分布式存儲設(shè)計和實施運維的難題，與專家及同行進(jìn)行線上的探討！

活動資料：

金融行業(yè)分布式存儲方案設(shè)計

活動地址：

http://www./activity/?id=1529