Jeff Atwood曾提出“任何能夠用JavaScript實(shí)現(xiàn)的應(yīng)用,最終都必將用JavaScript實(shí)現(xiàn)”他對JavaScript的推崇不言而喻。而當(dāng)下這個物聯(lián)網(wǎng)大熱的時代,JavaScript支持HTTP和JSON、支持函數(shù)式編程、可提供交互式環(huán)境等特點(diǎn)堪稱適用于物聯(lián)網(wǎng)全棧開發(fā)。本文詳解了JavaScript可參與的每一個物聯(lián)網(wǎng)過程,并針對開源項目進(jìn)行了匯總。 物聯(lián)網(wǎng)節(jié)點(diǎn)JavaScript開發(fā) 網(wǎng)絡(luò)中,HTTP協(xié)議與JSON數(shù)據(jù)格式特別是RESTful API無疑具有支配地位,各種云服務(wù),數(shù)據(jù)傳輸都基于這些協(xié)議來進(jìn)行。而JavaScript為HTTP和JSON提供了最好的支持,當(dāng)物聯(lián)網(wǎng)系統(tǒng)采用JavaScript開發(fā)時,天然對接了互聯(lián)網(wǎng)上海量的云服務(wù)與云資源,包括云存儲、云計算等一系列資源都可被方便調(diào)用,就像你在手機(jī)端訪問各種云服務(wù)一樣。微服務(wù)構(gòu)架在服務(wù)器端的興起,讓JavaScript編寫的每一個物聯(lián)網(wǎng)節(jié)點(diǎn)都可以作為一個大系統(tǒng)中的微服務(wù),通過RESTful API接口提供自己的服務(wù)。 在設(shè)計模式上,JavaScript的回調(diào)與事件循環(huán)等基于事件驅(qū)動的編程模型非常適合物聯(lián)網(wǎng)。在物聯(lián)網(wǎng)環(huán)境下,環(huán)境在不斷變化,物聯(lián)網(wǎng)節(jié)點(diǎn)要不斷對環(huán)境的變動做出響應(yīng),換句話說物聯(lián)網(wǎng)系統(tǒng)通常是I/O密集型的系統(tǒng),回調(diào)與事件循環(huán)高效地完成了密集I/O操作這項工作,而事件響應(yīng)式編程相比于多進(jìn)程和多線程編程在內(nèi)存的使用上又非常高效,而這又是物聯(lián)網(wǎng)系統(tǒng)所需要的,通常物聯(lián)網(wǎng)系統(tǒng)都是資源受限系統(tǒng),內(nèi)存與CPU的頻率都非常有限。物聯(lián)網(wǎng)節(jié)點(diǎn)底層開發(fā)中通常采用中斷響應(yīng)模式,在CPU中由稱為中斷控制器的硬件來檢查中斷信號的出現(xiàn),并在中斷出現(xiàn)后控制CPU執(zhí)行特定程序片段,這一執(zhí)行模式和JavaScript的回調(diào)一致,很容易使用JavaScript回調(diào)機(jī)制來實(shí)現(xiàn)硬件的中斷響應(yīng)。 物聯(lián)網(wǎng)節(jié)點(diǎn)的部署特點(diǎn)決定了其回收維護(hù)成本非常高昂甚至是不可接受的。而物聯(lián)網(wǎng)節(jié)點(diǎn)要不斷應(yīng)對新的環(huán)境與應(yīng)用需求,所以在開發(fā)中物聯(lián)網(wǎng)節(jié)點(diǎn)的遠(yuǎn)程部署與更新是非常重要的一個功能。JavaScript本來就是實(shí)現(xiàn)從服務(wù)器端向客戶端部署的一門語言,其天然就具有在網(wǎng)路上實(shí)現(xiàn)遠(yuǎn)程部署的屬性,實(shí)現(xiàn)起來就像你用瀏覽器下載JavaScript腳本并運(yùn)行一樣簡單。JavaScript的熱部署也是一個比較熱門的研究領(lǐng)域,通過熱部署,物聯(lián)網(wǎng)節(jié)點(diǎn)可以實(shí)現(xiàn)在運(yùn)行過程中遠(yuǎn)程添加新功能,遠(yuǎn)程修正bug。 前面講了使用JavaScript來做物聯(lián)網(wǎng)開發(fā)的好處,那么也有必要講一下JavaScript在物聯(lián)網(wǎng)應(yīng)用中相對于Web應(yīng)用的不同以及誤區(qū)。第一個問題就是實(shí)時性。作為嵌入式系統(tǒng)的物聯(lián)網(wǎng)網(wǎng)關(guān),首要面對的就是實(shí)時性問題,比如各種電機(jī)的控制,一些電壓信號的采集都是有實(shí)時性要求的,需要在規(guī)定的時間內(nèi)完成所需工作。由于JavaScript的內(nèi)存管理使用垃圾收集機(jī)制,所以必然存在由于垃圾收集而導(dǎo)致應(yīng)用中斷執(zhí)行的情況,甚至有可能在一些情況下造成實(shí)時性要求遭到破壞。所以在設(shè)計JavaScript物聯(lián)網(wǎng)實(shí)時程序時需要考慮內(nèi)存垃圾數(shù)據(jù)時間對實(shí)時性的影響。當(dāng)然,也可以采用另一個設(shè)計模式,就是把實(shí)時任務(wù)使用C語言編寫的單獨(dú)線程來實(shí)現(xiàn),利用JavaScript的單線程特點(diǎn),這種設(shè)計模式不會在嵌入式系統(tǒng)中占用過多的資源,畢竟JavaScript本來就是一種嵌入在瀏覽器里的語言。 另一方面,由于物聯(lián)網(wǎng)網(wǎng)關(guān)是需要長期運(yùn)行的設(shè)備,相對于Web端需要有更高的可靠性與穩(wěn)定性,所以單元測試與集成測試是必須的,而且需要使用代碼分析工具保證代碼沒有任何內(nèi)存及文件句柄的泄漏。即使在垃圾收集環(huán)境下,內(nèi)存泄漏也是存在的,而在嵌入式系統(tǒng)中由于內(nèi)存有限,特別容易泄漏。好在服務(wù)器端JavaScript的開發(fā)應(yīng)用已經(jīng)有很長一段時間了,可以從服務(wù)器開發(fā)里借鑒不少工具。 JavaScript物聯(lián)網(wǎng)節(jié)點(diǎn)開發(fā)開源項目匯總 OpenFPGAduino(https://github.com/OpenFPGAduino/)是筆者設(shè)計的基于Node.js與 FPGA的開源物聯(lián)網(wǎng)軟硬件開發(fā)平臺,與Arduino等快速原型開發(fā)平臺類似?;贜ode.js提供了網(wǎng)絡(luò)交互能力,特別包括用于開發(fā)的網(wǎng)絡(luò)IDE以及類似于樹莓派的Linux軟件開發(fā)系統(tǒng),方便安裝各種Linux通用軟件,并且通過FPGA提供了可編程的兼容Arduino外圍接口用于與豐富的物聯(lián)網(wǎng)傳感器進(jìn)行連接。 iotjs(https://github.com/Samsung/iotjs)是三星開發(fā)的嵌入式JavaScript執(zhí)行環(huán)境,能夠在幾百KB內(nèi)存的嵌入式系統(tǒng)上,不依靠操作系統(tǒng)實(shí)現(xiàn)完整的網(wǎng)絡(luò)與JavaScript支持。JavaScript解釋引擎采用 JerryScript(https://github.com/jerryscript-project/jerryscript),事件循環(huán)采用libtuv??梢哉f是Node.js的嵌入式版本,其API與Node.js相兼容。 Esprunio(https://github.com/espruino/Espruino)是為微控制開發(fā)的嵌入式JavaScript解釋引擎,提供了最小化的配置,可以在內(nèi)存低至8KB的微控制器上執(zhí)行JavaScript語言。 Cyclon(https://github.com/hybridgroup/cylon)是使用JavaScript來做機(jī)器人控制的項目,支持市面上主要的開發(fā)板,通過提供各種外設(shè)的驅(qū)動,實(shí)現(xiàn)了不需要寫一句C語言就能開發(fā)和組裝一個機(jī)器人。 物聯(lián)網(wǎng)JavaScript大數(shù)據(jù)處理 現(xiàn)在大數(shù)據(jù)技術(shù)方興未艾,在這些技術(shù)中,最基本的思想是MapReduce,這一思想將不同運(yùn)算拆解為Map與Reduce,然后將這些Map與Reduce任務(wù)在集群當(dāng)中最大限度地并行執(zhí)行。實(shí)現(xiàn)MapReduce模式編程最重要的一點(diǎn)就是支持函數(shù)式編程或者又稱為Lambda編程,所有的Map與Reduce操作都接受函數(shù)式編程作為參數(shù)。大數(shù)據(jù)的成功推動了函數(shù)式編程的復(fù)興,由此多數(shù)現(xiàn)代編程語言包括C++與Java的新版本均支持函數(shù)式編程。JavaScript在它出生的那一天就支持函數(shù)式編程,其回調(diào)函數(shù)就是一種函數(shù)式編程模式。自然而然,支持Map與Reduce也不是什么困難的事情,因此使用JavaScript做物聯(lián)網(wǎng)大數(shù)據(jù)分析與處理非常容易而高效。JSON數(shù)據(jù)格式因為格式簡單、處理方便的特點(diǎn)而受到不少青睞,被大量應(yīng)用于HTTP網(wǎng)絡(luò)傳輸,現(xiàn)有互聯(lián)網(wǎng)上的基礎(chǔ)設(shè)施與云服務(wù)也都采用JSON格式。以這些設(shè)施作為數(shù)據(jù)源,就要使用JavaScript來處理大數(shù)據(jù),這是因為JSON作為JavaScript代碼片段,本質(zhì)上來說一切基于RESTful API設(shè)計的接口幾乎都是對JavaScript友好的,當(dāng)然為了效率,有時會使用JSON的二進(jìn)制形式BSON。 由于物聯(lián)網(wǎng)的對稱性,物理網(wǎng)的節(jié)點(diǎn)不僅可以是數(shù)據(jù)的收集者,同樣可以是數(shù)據(jù)的發(fā)起者,使用JavaScript來處理物聯(lián)網(wǎng)大數(shù)據(jù),那么每個物聯(lián)網(wǎng)數(shù)據(jù)節(jié)點(diǎn)也能夠發(fā)起大數(shù)據(jù)的處理,并利用后臺大數(shù)據(jù)環(huán)境做出決策并響應(yīng)環(huán)境的變化。這樣利用JavaScript將物聯(lián)網(wǎng)前端和后端數(shù)據(jù)處理直接無縫鏈接起來,實(shí)現(xiàn)了大數(shù)據(jù)的實(shí)時處理與響應(yīng)的Lambda構(gòu)架,并同時完成了批處理與實(shí)時處理構(gòu)架的統(tǒng)一。在未來,可以用JavaScript設(shè)計基于Node.js的處理框架,把物理網(wǎng)節(jié)點(diǎn)當(dāng)作大數(shù)據(jù)節(jié)點(diǎn)來統(tǒng)一物聯(lián)網(wǎng)中數(shù)據(jù)的處理與傳輸。 機(jī)器學(xué)習(xí)作為現(xiàn)在最熱門的大數(shù)據(jù)處理手段不得不提。由于JavaScript在瀏覽器端的支配地位,使用JavaScript做機(jī)器學(xué)習(xí)的嘗試也非常多,有了JavaScript的機(jī)器學(xué)習(xí)庫,就可以非常簡單地在瀏覽器上運(yùn)行一些機(jī)器學(xué)習(xí)的小程序,同樣也可以將這些機(jī)器學(xué)習(xí)庫運(yùn)行在Node.js上,使得物聯(lián)網(wǎng)節(jié)點(diǎn)也具有一定的機(jī)器學(xué)習(xí)能力及數(shù)據(jù)處理能力。當(dāng)然使用JavaScript直接控制深度機(jī)器學(xué)習(xí)集群也是一個不錯的選擇,JavaScript在數(shù)據(jù)可視化方面的成功,幫助了它能夠很方便地可視化機(jī)器學(xué)習(xí)的過程與結(jié)果,方便以遠(yuǎn)程方式來控制機(jī)器學(xué)習(xí)集群。 JavaScript物聯(lián)網(wǎng)大數(shù)據(jù)開源項目 Eclairjs(https://github.com/EclairJS/eclairjs-node)是基于Node.js的Spark大數(shù)據(jù)處理平臺前端,通過Eclairjs,可以使用JavaScript來操作基于內(nèi)存處理的大數(shù)據(jù)分析平臺Spark,通過Spark內(nèi)置的調(diào)度器,實(shí)現(xiàn)了在整個集群上調(diào)度資源,以最大化并行度來執(zhí)行JavaScript的算法。目前,Spark是最主流和發(fā)展最快的大數(shù)據(jù)處理平臺。 skale(https://github.com/skale-me/skale-engine)是一個完全使用JavaScript開發(fā),采用Node.js作為執(zhí)行環(huán)境的分布式數(shù)據(jù)處理系統(tǒng),具有比Spark更快的性能。 MQTT是為物聯(lián)網(wǎng)設(shè)計的輕量級通訊協(xié)議,協(xié)議基于TCP/IP,適用于低帶寬不可靠環(huán)境。協(xié)議的開銷非常小,支持發(fā)布訂閱模式,是種非常高效的通信協(xié)議。MQTT.js(https://github.com/mqttjs/MQTT.js)是Node.js的MQTT通信模塊,實(shí)現(xiàn)了Node.js收發(fā)MQTT數(shù)據(jù)。 Kafka是大數(shù)據(jù)分布式消息總線,提供了對海量消息的持久化能力,通過將接收到的數(shù)據(jù)直接持久化到硬盤,提供了穩(wěn)定的數(shù)據(jù)吞吐量以及高可用性。Kafka Rest(https://github.com/confluentinc/kafka-rest)模塊為Kafka消息總線提供了Restful API 的支持,無論是使用瀏覽器還是Node.js都可以方便使用JavaScript來收發(fā)消息。 convnetjs(https://github.com/karpathy/convnetjs)是完全用JavaScript寫成的神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)庫,可以運(yùn)行在瀏覽器中或Node.js中。convnetjs提供了許多有趣的例子,在瀏覽器上實(shí)現(xiàn)了對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的可視動畫呈現(xiàn)與交互模式,對理解神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)有非常好的幫助。 作為深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方向最重要也是最熱門的項目,Google的TensorFlow是深度學(xué)習(xí)開源的里程碑。TensorFlow的開源使得使用深度學(xué)習(xí)來做數(shù)據(jù)處理已經(jīng)不再是一件高難度的事情。Node-tensorflow(https://github.com/node-tensorflow/node-tensorflow)是一個NodeJS API,使用了Google的開源機(jī)器學(xué)習(xí)庫TensorFlow。 物聯(lián)網(wǎng)JavaScript數(shù)據(jù)展示 在瀏覽器端,JavaScript在數(shù)據(jù)的可視化方面早已處于支配地位,作為現(xiàn)在幾乎唯一可在所有瀏覽器上運(yùn)行的編程語言,使用JavaScript不僅可以給用戶提供交互式的環(huán)境,而且可以做出非常漂亮的圖表與動畫效果,包括兩維的圖表曲線以及三維的虛擬空間,都可以使用JavaScript控制瀏覽器來實(shí)現(xiàn),現(xiàn)在許多基于瀏覽器的VR環(huán)境也可以通過JavaScript來開發(fā)了。使用JavaScript來做物聯(lián)網(wǎng)的數(shù)據(jù)展示實(shí)在太合適不過了。 當(dāng)今互聯(lián)網(wǎng)世界,JavaScript已經(jīng)是一種全棧網(wǎng)絡(luò)開發(fā)語言。特別是HTML5興起以后,JavaScript不再局限于瀏覽器端,而是將觸手伸到了網(wǎng)絡(luò)的方方面面,包括物聯(lián)網(wǎng)端、手機(jī)的移動端和傳統(tǒng)的PC端。HTML5為瀏覽器設(shè)計,很好地發(fā)揮了JavaScript的跨平臺特點(diǎn),真正做到了開發(fā)一次JavaScript代碼,從手機(jī)上的iOS、Android到電腦端的Windows、macOS、Linux的跨平臺運(yùn)行。雖然目前JavaScript在性能上仍然無法與原生開發(fā)應(yīng)用相匹敵,但是僅使用單一的JavaScript來開發(fā)各種應(yīng)用程序,開發(fā)成本與響應(yīng)速度上是其他開發(fā)方式所無法比擬的。特別是在物聯(lián)網(wǎng)開發(fā)環(huán)境中,很多應(yīng)用是輕量級的,對性能沒有特別高的要求,但是卻需要依照不同物聯(lián)網(wǎng)環(huán)境進(jìn)行不同的定制與適配,JavaScript來做這樣的數(shù)據(jù)展示工作再合適不過。根據(jù)網(wǎng)絡(luò)的對稱性特點(diǎn),甚至于,完全可以用JavaScript來實(shí)現(xiàn)在物聯(lián)網(wǎng)節(jié)點(diǎn)上完成數(shù)據(jù)展示的工作,一如我們用手機(jī)來進(jìn)行數(shù)據(jù)展示與控制。 JavaScript數(shù)據(jù)展示開源項目匯總 D3(https://github.com/d3/d3)是基于SVG的矢量圖操作工具。通過使用JavaScript,D3將數(shù)據(jù)以矢量圖形式展示出來并提供了任意伸縮的能力,在HTML5出現(xiàn)之前,D3是二維可視化的底層標(biāo)準(zhǔn)。通常許多繪制圖表與數(shù)據(jù)可視化工具都使用D3作為底層驅(qū)動引擎,在其之上提供用戶友好的API接口。 three.js(https://github.com/mrdoob/three.js/)是基于WebGL的JavaScript3D繪圖工具。通過WebGL擴(kuò)展,JavaScript語言實(shí)現(xiàn)了直接驅(qū)動底層顯卡進(jìn)行3D繪圖。three.js在3D圖像基礎(chǔ)上還提供了VR支持,可以方便的使用JavaScript來實(shí)現(xiàn)VR數(shù)據(jù)展示。 ionic(https://github.com/driftyco/ionic)是基于AngularJS的移動端跨平臺開發(fā)環(huán)境,能夠在一個統(tǒng)一的框架下使用JavaScript HTML CSS,同時完成開發(fā)iOS、Android、Window Phone程序,并根據(jù)各個環(huán)境的不同UI做自動適配。 Electron(https://github.com/electron/electron)是基于Node.js與chrome的跨平臺桌面開發(fā)環(huán)境,electron通過將瀏覽器內(nèi)核和后臺Node.js服務(wù)進(jìn)行打包,實(shí)現(xiàn)了一個使用JavaScript的全棧開發(fā)環(huán)境,無需任何修改就能夠?qū)⒊绦虿渴鸬?span>Windows、macOS、Linux平臺上。 nw(https://github.com/nwjs/nw.js)是輕量級的JavaScript跨平臺桌面開發(fā)環(huán)境,它實(shí)現(xiàn)了在HTML代碼中直接調(diào)用Node.js的各種API函數(shù),提供了一個平滑自然的桌面應(yīng)用開發(fā)環(huán)境,隱藏了客戶端服務(wù)器編程的細(xì)節(jié)。
為更好理解JavaScript物聯(lián)網(wǎng)開發(fā),下面以筆者設(shè)計的物聯(lián)網(wǎng)系統(tǒng)為例,詳細(xì)介紹物聯(lián)網(wǎng)系統(tǒng)的設(shè)計。所有設(shè)計資料都是開源的,讀者可以對照源碼網(wǎng)頁與文檔。( http://openfpgaduino.) ● 物聯(lián)網(wǎng)網(wǎng)關(guān)最小系統(tǒng)硬件設(shè)計 對于應(yīng)用于物聯(lián)網(wǎng)的嵌入式系統(tǒng),系統(tǒng)的硬件設(shè)計是重要的組成部分,通常來說應(yīng)對不同的應(yīng)用,嵌入式硬件的系統(tǒng)設(shè)計會有所不同,每個系統(tǒng)都會按照相應(yīng)的應(yīng)用場景進(jìn)行調(diào)整。但是物聯(lián)網(wǎng)的核心系統(tǒng)通常是一個設(shè)計構(gòu)架可以應(yīng)用于一大類的系統(tǒng),所需要調(diào)整的通常是外圍設(shè)備。 圖1 如圖1所示是筆者設(shè)計的物聯(lián)網(wǎng)網(wǎng)關(guān)最小系統(tǒng),在系統(tǒng)設(shè)計思想上首先保證了核心系統(tǒng)的通用性,采用了ARM處理器。因為是網(wǎng)關(guān)節(jié)點(diǎn),設(shè)計上需要網(wǎng)關(guān)直接連接IP網(wǎng)絡(luò)并提供全功能的網(wǎng)絡(luò)服務(wù),因此選擇了能夠完整運(yùn)行Linux系統(tǒng)的ARM9處理器,運(yùn)行完整的Linux也是能夠運(yùn)行Node.js與完整JavaScript的必要條件。由于采用了標(biāo)準(zhǔn)Linux,雖然Linux內(nèi)核提供了一些實(shí)時性補(bǔ)丁,但由于編程模型復(fù)雜而且也不適合與Node.js集成,因此在最小核心系統(tǒng)中加入了FPGA。FPGA能夠在硬件層面完成實(shí)時響應(yīng),解決了系統(tǒng)的實(shí)時響應(yīng)需求,其次由于FPGA是一種可配置系統(tǒng),能夠根據(jù)應(yīng)用需要進(jìn)行設(shè)計與配置,所以引入FPGA也極大提高了系統(tǒng)的適配能力,為靈活適配各種不同物聯(lián)網(wǎng)應(yīng)用提供了基礎(chǔ)。 ● 物聯(lián)網(wǎng)網(wǎng)關(guān)系統(tǒng)軟件設(shè)計 物聯(lián)網(wǎng)網(wǎng)關(guān)的軟件設(shè)計完全是基于硬件設(shè)計的構(gòu)架,最大限度發(fā)揮硬件的功能,設(shè)計流程如下: 1.首先在ARM9處理器上運(yùn)行完整的Linux系統(tǒng),其擁有完整的網(wǎng)絡(luò)服務(wù),并能根據(jù)需要通過APT-GET命令來安裝所需要的軟件包。 2.在Linux系統(tǒng)基礎(chǔ)上,運(yùn)行Node.js+MongoDB來提供所有網(wǎng)絡(luò)服務(wù)。 3.在Node.js里運(yùn)行HTTP服務(wù)器來提供基于Restful API的各種本地服務(wù),包括各種外設(shè)與I/O的控制。 4.運(yùn)行HTTP服務(wù)器,基于RESTful API,實(shí)現(xiàn)了基于HTML5的云IDE開發(fā)環(huán)境。方便技術(shù)極客對網(wǎng)關(guān)的功能進(jìn)行定制,這些IDE包括了JavaScript的IDE,基于圖形編程的Blockly IDE和可以配置FPGA模塊功能和引腳定義的Web設(shè)計工具,當(dāng)然也包括較為底層的c語言IDE。 有了這些功能,用戶就可以根據(jù)自己的需要,編寫簡單的程序來控制與物聯(lián)網(wǎng)網(wǎng)關(guān)連接的任何設(shè)備,實(shí)現(xiàn)自己的智能物聯(lián)網(wǎng)。 在板子內(nèi)部,通過實(shí)現(xiàn)Linux內(nèi)核驅(qū)動的用戶空間模式,實(shí)現(xiàn)了Node.js直接訪問FPGA內(nèi)存空間、控制FPGA內(nèi)部邏輯,并最終控制與FPGA相連接的各種物聯(lián)網(wǎng)外設(shè)的功能。同時還實(shí)現(xiàn)了Node.js對FPGA的現(xiàn)場再配置,這樣直接通過網(wǎng)絡(luò)下載FPGA配置文件,即可現(xiàn)場改變整個核心系統(tǒng)。 物聯(lián)網(wǎng)網(wǎng)關(guān)系統(tǒng)軟件設(shè)計 ● 物聯(lián)網(wǎng)云構(gòu)建系統(tǒng)設(shè)計 如圖3所示是物聯(lián)網(wǎng)網(wǎng)關(guān)的云構(gòu)建系統(tǒng),圖中可以看到物聯(lián)網(wǎng)云構(gòu)建系統(tǒng)由GitHub,Docker Build與七牛云存儲三部分組成。云構(gòu)建系統(tǒng)的想法來源于持續(xù)集成,在軟件工程里,持續(xù)集成的概念已經(jīng)非常普遍了,每次有代碼改動的提交都會觸發(fā)一個編譯測試的持續(xù)過程。模仿軟件持續(xù)集成,在云端構(gòu)建了一個對應(yīng)于物聯(lián)網(wǎng)網(wǎng)關(guān)的持續(xù)集成環(huán)境,選擇云端是因為嵌入式系統(tǒng)本身的能力與處理速度都有限,不適于做為持續(xù)集成的構(gòu)建環(huán)境。在云構(gòu)建系統(tǒng)中,使用GitHub來管理代碼的基礎(chǔ)版本,使用Docker Hub的容器構(gòu)建機(jī)制完成應(yīng)用程序與FPGA程序的構(gòu)建,最后使用七牛云做為構(gòu)建結(jié)果的分發(fā)平臺。所有開發(fā)板通過RESTful API驅(qū)動云編譯環(huán)境,并訪問七牛云來實(shí)現(xiàn)程序配置的升級。利用這一套云持續(xù)集成系統(tǒng),不僅可以迅速對應(yīng)用進(jìn)行部署而且可以開放支持用戶進(jìn)行自定義開發(fā)的云開發(fā)環(huán)境,用戶利用這一云環(huán)境,能夠輕松實(shí)現(xiàn)對FPGA的定制設(shè)計,實(shí)現(xiàn)一套云端FPGA設(shè)計環(huán)境。 物聯(lián)網(wǎng)網(wǎng)關(guān)的云架構(gòu) ● 物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)設(shè)計 如圖4所示是物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的設(shè)計構(gòu)架圖,物聯(lián)網(wǎng)網(wǎng)關(guān)上收集到的物聯(lián)網(wǎng)數(shù)據(jù)被系統(tǒng)上的Node.js源源不斷地送往大數(shù)據(jù)消息總線Kafka的HTTP proxy,每一個Kafka HTTP proxy可以承接數(shù)千個這樣的物聯(lián)網(wǎng)網(wǎng)關(guān),而proxy又將匯總的的數(shù)據(jù)發(fā)送到Kafka的集群中做進(jìn)一步匯總,然后在Kafka 集群內(nèi)部實(shí)現(xiàn)對數(shù)據(jù)的ETL過程,包括數(shù)據(jù)異常值的過濾,重復(fù)數(shù)據(jù)的去除,數(shù)據(jù)格式的轉(zhuǎn)換。最后利用Kafka集群,將數(shù)據(jù)發(fā)送到不同的下游消費(fèi)者那里,先發(fā)送到大數(shù)據(jù)存儲系統(tǒng)S3或者HDFS做永久保存,為將來用Hadoop或者Spark等離線分析系統(tǒng)提供數(shù)據(jù);接著數(shù)據(jù)被發(fā)送到ElasticSearch中做索引,方便對數(shù)據(jù)進(jìn)行快速的搜索與查詢,并且利用Kibana做數(shù)據(jù)的可視化,提供整個數(shù)據(jù)流的健康狀態(tài)監(jiān)控;最后數(shù)據(jù)被發(fā)送到實(shí)時在線大數(shù)據(jù)處理系統(tǒng)Spark Streaming中做數(shù)據(jù)在線分析、機(jī)器學(xué)習(xí)等任務(wù),實(shí)現(xiàn)數(shù)據(jù)在在線分析與響應(yīng)。 大數(shù)據(jù)處理系統(tǒng)的設(shè)計結(jié)構(gòu)圖
|
|