首先，讓我們來了解一下是什么在推動(dòng)邊緣的人工智能的發(fā)展。傳感器技術(shù)和經(jīng)濟(jì)的進(jìn)步創(chuàng)造了聯(lián)網(wǎng)設(shè)備的繁榮，也被稱為物聯(lián)網(wǎng)。這些設(shè)備正在提高生產(chǎn)力。

將攝像頭和其他傳感器連接到互聯(lián)網(wǎng)上，有助于創(chuàng)建智能工廠和智能家庭。

更重要的是，將視頻從在線攝像頭傳輸?shù)交谠频囊曈X識(shí)別服務(wù)會(huì)使現(xiàn)有的網(wǎng)絡(luò)容量超載，導(dǎo)致響應(yīng)速度變慢。

IT設(shè)備的數(shù)量正在呈指數(shù)級(jí)增長，據(jù)預(yù)測(cè)，到2025年將達(dá)到1500億臺(tái)設(shè)備，到2030年將超過1萬億臺(tái)設(shè)備，這為處于邊緣的AI提供了巨大的機(jī)會(huì)。

為了解決剛才提到的最新挑戰(zhàn)。NVIDIA創(chuàng)建了Jetson平臺(tái)。而NVIDIA Jetson平臺(tái)是為創(chuàng)建軟件定義的自主機(jī)器而設(shè)計(jì)的。它是一個(gè)開放平臺(tái)，已被超過45萬名注冊(cè)開發(fā)者廣泛采用。

這個(gè)平臺(tái)由三部分組成，第一部分是由CUDA GPU支持的Jetson電腦，第二部分是大量的工具、SDK和庫，第三部分是NVIDIA打造的生態(tài)。

NVIDIA Jetson產(chǎn)品是以系統(tǒng)和模組的形式出現(xiàn)。每個(gè)模組具有不同內(nèi)存，不同的功率、不同性能和外形規(guī)格，可用于各種應(yīng)用。關(guān)于Jetson模組，最重要的一點(diǎn)是，它們?cè)谒蟹矫娑季哂邢嗤能浖軜?gòu)，以便在不同的產(chǎn)品組合中利用你的投資。

從入門的Jetson NANO產(chǎn)品到目前最高端的Jetson AGX Xavier。Xavier 30%用于設(shè)計(jì)復(fù)雜的、完全自主的系統(tǒng)，例如戶外遞送機(jī)器人，該系統(tǒng)需要運(yùn)行多個(gè)模型以進(jìn)行實(shí)時(shí)感知和控制，并處理來自多個(gè)傳感器的高帶寬數(shù)據(jù)。

Jetson家族的新成員是Jetson AGX Xavier NX，比一張名片還小，每秒運(yùn)算20萬億次，功率只有15瓦，這使得NX成為當(dāng)今市場上最小、最強(qiáng)大的計(jì)算機(jī)。

它的小尺寸和高性能的結(jié)合，使其能夠廣泛的應(yīng)用。例如便攜式醫(yī)療設(shè)備、自主無人機(jī)和自動(dòng)光學(xué)檢查系統(tǒng)。

NVIDIA Jetson系列可以幫助用戶從頭開始設(shè)計(jì)自主機(jī)器，并提供了更多的不僅僅是一個(gè)加速器。

你可以在這里看到Jetson AGX xavier中提供的各種子系統(tǒng)，其中包括一個(gè)易于編程的CUDA，使GPU也可以用于圖形或其他加速計(jì)算功能。然后是Tensor Cores，用于人工智能處理和一個(gè)深度學(xué)習(xí)加速器(DLA)，專注于提供高效率，一個(gè)組合操作的深度學(xué)習(xí)。還有一個(gè)高性能的多核CPU執(zhí)行所有串行任務(wù)。

多媒體處理器的功能包括如編碼，解碼，縮放等，還有一個(gè)圖像處理器來處理來自圖像傳感器的原始像素?cái)?shù)據(jù)；一個(gè)用于普通計(jì)算機(jī)視覺任務(wù)的視覺處理器，以及高速I/O(如USB、以太網(wǎng)和PCIe)，并將所有這些進(jìn)程連接在統(tǒng)一的內(nèi)存架構(gòu)中，以最小的延遲和最大的狀態(tài)真正實(shí)現(xiàn)并行處理。

除了模組外，NVIDIA還提供開發(fā)套件，具備各種接口，可以作為獨(dú)立的下一代計(jì)算機(jī)來使用。

它包括一個(gè)基于linux的開放操作系統(tǒng)，該系統(tǒng)提供了一個(gè)完整的內(nèi)核源代碼和工具，支持使用加密和安全引導(dǎo)等方式進(jìn)行生產(chǎn)，以附加傳感器和外設(shè)。還提供了常用I/O的驅(qū)動(dòng)程序。對(duì)于板載硬件加速器進(jìn)行大量多媒體處理，NVIDIA提供了通用的API用于對(duì)各種格式進(jìn)行編解碼。

在圖形方面，NVIDIA提供了vullan和openGL支持，支持X11 Wayland和LidDRM用于顯示。

在基于底層的cuda - x上，NVIDIA為深度學(xué)習(xí)提供了TensorRT、cuDNN等庫，為計(jì)算機(jī)視覺提供visionworks庫。以及其他基礎(chǔ)的加速計(jì)算庫，如cuBLAS和cuFFT。

Jetpack的另一個(gè)關(guān)鍵組件是開發(fā)工具，它在主機(jī)上運(yùn)行，允許開發(fā)人員交叉編譯配置文件和調(diào)試他們的應(yīng)用程序。

將所有的關(guān)鍵組件作為一個(gè)SDK提供給開發(fā)人員，讓開發(fā)人員的工作更輕松，讓他們更容易地進(jìn)行開發(fā)并進(jìn)入生產(chǎn)類，而不需要花費(fèi)大量的時(shí)間。

NVIDIA TensorRT是包含在Jetpack中并支持jetson的AI關(guān)鍵庫之一。TensorRT包括一個(gè)編譯器和一個(gè)運(yùn)行時(shí)，允許開發(fā)人員在任何流行的AI框架（如tensorflow和pytorch）上訓(xùn)練他們的模型，并以最小的內(nèi)存占用將它們部署到邊緣，利用產(chǎn)品的底層架構(gòu)提供高性能。

TensorRT包含了量化，層融合，內(nèi)核審計(jì)，多流執(zhí)行等等。因此，開發(fā)人員可以快速地從訓(xùn)練模型到將模型部署到邊緣。由于人工智能項(xiàng)目開發(fā)和部署過程固有的迭代性，NVIDIA的統(tǒng)一架構(gòu)所提供的從訓(xùn)練到推理的無縫工作流程，對(duì)于人工智能項(xiàng)目的成功至關(guān)重要。

這些模型采用不同的訓(xùn)練框架，它們有不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但它們都可以用TensorRT在同一個(gè)jetson設(shè)備上編譯和運(yùn)行。

這些基準(zhǔn)測(cè)試對(duì)于了解我們平臺(tái)的計(jì)算機(jī)功能及其靈活性非常有用。它們遠(yuǎn)遠(yuǎn)不足以為您的產(chǎn)品選擇合適的平臺(tái)。因此，讓我來解釋一下，為什么在為實(shí)際應(yīng)用選擇產(chǎn)品時(shí)，您除了基準(zhǔn)測(cè)試還需要考慮更多。

人工智能推理從根本上講是一個(gè)多維問題，第一個(gè)是模型的類型，正如我們前面所看到的，人工智能的研究進(jìn)展很快，我們經(jīng)常看到新的模型結(jié)構(gòu)。如果我們今天選擇一個(gè)模型，很有可能在六個(gè)月內(nèi)，他會(huì)想用一些不同的東西來更新，這樣可以提供更好的準(zhǔn)確性和性能，所以選擇一個(gè)能夠加速每一個(gè)模型的平臺(tái)是很重要的。

維度是輸入分辨率。早期基準(zhǔn)測(cè)試都是顯示非常小的分辨率輸入的性能。并且用于圖像或者比賽或其他學(xué)術(shù)研究。但是在實(shí)踐中，您需要探索什么輸入分辨率將對(duì)您的問題有效。

第三個(gè)是框架的選擇?，F(xiàn)在開發(fā)人工智能項(xiàng)目的公司最大的挑戰(zhàn)是尋找人工智能開發(fā)人員。所以如果你把這個(gè)解決方案局限于一個(gè)特定的框架，你將關(guān)閉一個(gè)巨大的人才庫的大門。

第四個(gè)是流處理的批處理大小。對(duì)于許多用例，您需要處理多個(gè)傳感器。多個(gè)輸入。基準(zhǔn)測(cè)試顯示單個(gè)輸入的性能非常好。但是，當(dāng)您添加更多信息時(shí)，性能并不是均勻分布的。

最后一個(gè)是量化。雖然量化確實(shí)有助于減少計(jì)算需求，但它通常需要付出很大的努力，而且在許多情況下是不可行的。例如，客戶需要區(qū)分細(xì)微特征差異，他們絕對(duì)必須使用FP32來獲得期望精度。擁有在多維空間中迭代的靈活性是很重要的，而NVIDIA Jetson平臺(tái)，你可以靈活地探索，他們可以在所有這些維度上進(jìn)行交易，在最短的時(shí)間內(nèi)構(gòu)建出最好的產(chǎn)品。

這是第三方基準(zhǔn)，其中包含幾乎所有商用解決方案，跨各種工作負(fù)載和場景的性能。事實(shí)上，Jetson是唯一能夠運(yùn)行所有場景和工作負(fù)載的平臺(tái)。

光靠推理是不夠的。我們需要加速整個(gè)流程以實(shí)現(xiàn)性能目標(biāo)。NVIDIA將Deepstream作為SDK，Deepstream旨在加速流視頻分析所需的完整堆棧。它是一個(gè)模塊化的SDK，允許開發(fā)人員為智能視頻分析（IVA）構(gòu)建一個(gè)高效的管道。您在這里看到的是一個(gè)典型的IVA管道，由Deepstream插件構(gòu)建，它支持插件使用的底層硬件、管道的每個(gè)功能，并利用硬件體系結(jié)構(gòu)移動(dòng)數(shù)據(jù)，而無需任何內(nèi)存拷貝。

NVIDIA創(chuàng)建了isaac作為機(jī)器人SDK。Isaac包含一個(gè)引擎，允許您以模塊化的方式構(gòu)建復(fù)雜的應(yīng)用程序圖，還包括各種常見的gem，以及構(gòu)建移動(dòng)機(jī)器人所需的AI功能以及可視化和調(diào)試工具。

不同的gem被映射到系統(tǒng)上不同的硬件以加速。引擎可以實(shí)現(xiàn)高效的數(shù)據(jù)流。您在這里看到的是isaac提供的一個(gè)示例應(yīng)用程序（稱為carter）的圖表。它利用定位、地圖繪制、避障等多種方法來規(guī)劃構(gòu)建一個(gè)自主的室內(nèi)移動(dòng)機(jī)器人。

但總而言之，Jetson平臺(tái)配備了一套詳盡的軟件，可以方便快捷地開發(fā)智能城市、工廠、物聯(lián)網(wǎng)、醫(yī)療保健、農(nóng)業(yè)等領(lǐng)域的人工智能應(yīng)用程序。

這是NVIDIA歷代Jetpack的版本。

NVIDIA還積累了一個(gè)廣泛的生態(tài)系統(tǒng)合作伙伴平臺(tái)，可以幫助客戶加快AI產(chǎn)品的上市時(shí)間。無論您是需要一個(gè)現(xiàn)成的系統(tǒng)用于初始原型，還是一個(gè)定制的設(shè)計(jì)用于大規(guī)模生產(chǎn)。生態(tài)系統(tǒng)合作伙伴可以幫助你。

除了傳感器和硬件合作伙伴，他們還擁有廣泛的軟件生態(tài)系統(tǒng)，可以為特定行業(yè)領(lǐng)域提供嵌入式解決方案，還有云服務(wù)提供商提供云集成、設(shè)備管理和監(jiān)控解決方案。以及為嵌入式系統(tǒng)提供定制優(yōu)化和集成服務(wù)的合作伙伴。

我們看到了基于Jetson平臺(tái)的人工智能解決方案在各種各樣的用例和行業(yè)中的巨大成功和部署。這些解決方案不僅有助于他們的工業(yè)提高生產(chǎn)力，而且使我們的世界更安全、更健康、更幸福。

NVIDIA在Jetson平臺(tái)上投入巨大的資源和研發(fā)力量，并有一個(gè)堅(jiān)實(shí)的產(chǎn)品路線圖。所有綠色產(chǎn)品是目前已經(jīng)發(fā)布或發(fā)售的，展望未來。2021年，NVIDIA計(jì)劃NANO的下一個(gè)入門級(jí)產(chǎn)品NANO Next，然后是基于Orin的產(chǎn)品。

與商業(yè)級(jí)Jetson產(chǎn)品類似，NVIDIA還計(jì)劃繼續(xù)為工業(yè)環(huán)境提供產(chǎn)品，這需要高可靠性的運(yùn)行壽命和長達(dá)10年的供應(yīng)。NVIDIA預(yù)計(jì)在2021年年中推出工業(yè)級(jí)Xavier 32G模組，然后在2022年后推出工業(yè)級(jí)Orin產(chǎn)品。

Jetson是一個(gè)開放的平臺(tái)，NVIDIA提供了各種開發(fā)資源供開發(fā)者學(xué)習(xí)和了解。

希望本篇能夠讓您比較系統(tǒng)性地了解Jetson產(chǎn)品