Aurora最近上市，市值超過一百億美金。其自動(dòng)駕駛工程師團(tuán)隊(duì)超過1400人；曾收購一個(gè)激光雷達(dá)公司Blackmore，采用的FMCW而不是TOF技術(shù)，還收購一個(gè)激光雷達(dá)芯片公司Ours，也是基于FMCW技術(shù)的芯片設(shè)計(jì)（Lidar on-chip）；當(dāng)然，最著名的收購是Uber ATG團(tuán)隊(duì)（被稱“蛇吞象”）。

2017年成立的Aurora，其創(chuàng)始人來自Google、Uber和Tesla，背景算是“根正苗紅”。剛開始是面向無人出租車應(yīng)用，但近一年已經(jīng)把商用大卡車業(yè)務(wù)作為自己的主業(yè)。

除了激光雷達(dá)技術(shù)和激光雷達(dá)芯片技術(shù)，Aurora的自動(dòng)駕駛算法很少公開，最近上市前的融資材料公布了一些信息：

這是Aurora Driver平臺(tái)概覽：軟件、硬件、地圖、數(shù)據(jù)服務(wù)、車輛

這是其全棧自動(dòng)駕駛技術(shù)一覽：傳感器、定位、地圖、感知、規(guī)劃、控制、仿真、線控

這是其激光雷達(dá)的優(yōu)點(diǎn)介紹：長距離感知、抗干擾，能同時(shí)測速和距離

提供仿真測試和數(shù)據(jù)回放的示意圖：減少路測、其運(yùn)動(dòng)規(guī)劃仿真比路測成本減少2500+倍，1小時(shí)仿真測試相當(dāng)于5萬個(gè)車輛路測，其中可以模擬2百25萬次無保護(hù)左拐彎。

高清地圖制作Aurora Atlas：幾乎實(shí)時(shí)更新、制圖過程大規(guī)模并行

最后正在開發(fā)的自動(dòng)駕駛2.0系統(tǒng)，和自動(dòng)駕駛1.0系統(tǒng)比較如下：

之前曾在CVPR'21的workshop特邀報(bào)告中介紹過Aurora的兩個(gè)工作：

其中一個(gè)工作題目是“Bridging Perception to motion planning“

另一個(gè)工作題目是”The value proposition of forecasting for motion planning“

其實(shí)這兩個(gè)報(bào)告都提到Aurora收購的Uber ATG團(tuán)隊(duì)已發(fā)表一些文章，從中可以探究其技術(shù)的細(xì)節(jié) （注：原來Uber ATG在多倫多的分部并沒有歸屬Aurora，其首席科學(xué)家已經(jīng)創(chuàng)業(yè)成立了自動(dòng)駕駛公司W(wǎng)aabi，而且其主要應(yīng)用場景也是選的商業(yè)卡車！），下面介紹相關(guān)的論文如下：

1 “LaserFlow: Efficient and Probabilistic Object Detection and Motion Forecasting”

原來Uber ATG匹茲堡團(tuán)隊(duì)在2020年10月15日上傳arXiv。

提出的一個(gè)方法，LaserFlow，基于激光雷達(dá)的三維目標(biāo)檢測和運(yùn)動(dòng)預(yù)測。該方法利用激光雷達(dá)的距離視圖（RV）表示 ，在傳感器的全距離實(shí)時(shí)操作，沒有BEV的體素化或數(shù)據(jù)壓縮。提出的多掃描（multi- sweep）融合架構(gòu)，直接從距離圖像提取和合并時(shí)域特征。此外，受課程學(xué)習(xí)啟發(fā)提出一種技術(shù)，學(xué)習(xí)未來的軌跡的概率分布。

如圖是激光雷達(dá)輸入距離數(shù)據(jù)序列和不確定性的軌跡輸出的例子：a）輸入的激光雷達(dá)距離（RV）數(shù)據(jù)序列，輸出不確定性的軌跡（BEV）

如圖所示，提出的網(wǎng)絡(luò)架構(gòu)：提取multi-sweep特征，檢測和預(yù)測運(yùn)動(dòng)目標(biāo)。

在multi-sweep體系結(jié)構(gòu)，特征提取獨(dú)立于每個(gè)激光雷達(dá)在其原始視圖的sweep。每個(gè)sweep的特征通過一個(gè)特征轉(zhuǎn)換器，學(xué)習(xí)從原始坐標(biāo)系到全局坐標(biāo)系的特征轉(zhuǎn)換。以前的sweep，warp到當(dāng)前sweep的圖像，并連接在一起，這個(gè)作為transformer network；這個(gè)multi- sweep的特征圖輸入到一個(gè)骨干網(wǎng)絡(luò)檢測目標(biāo)和估計(jì)其運(yùn)動(dòng)。

給定multi-sweep激光雷達(dá)數(shù)據(jù)，模型的目標(biāo)（goal）是，預(yù)測所有軌跡的概率。對于距離圖像的每個(gè)點(diǎn)，預(yù)測一組類別概率，即確定點(diǎn)落在哪個(gè)目標(biāo)上，輸出3-D目標(biāo)框的維度，同時(shí)輸出目標(biāo)的位移向量、旋轉(zhuǎn)角和不確定性得分。激光雷達(dá)點(diǎn)云預(yù)測的軌跡最后通過近似mean-shift算法聚類成目標(biāo)（object）。

端到端訓(xùn)練的損失項(xiàng)包括focal loss的分類和K-L發(fā)散的回歸：

其中KL發(fā)散定義為

KL發(fā)散的梯度計(jì)算，是為了重新加權(quán)損失，估計(jì)不確定性：

通過不確定性的課程學(xué)習(xí)，可以確保早期預(yù)測在后期得到修正。

實(shí)驗(yàn)結(jié)果如下：基準(zhǔn)方法包括

• 1. FaF（“Fast and furious: Real time end-to-end 3D detection, tracking and motion forecasting with a single convolutional net,” ，CVPR，2018）

• 2. IntentNet （“IntentNet: Learning to predict intention from raw sensor data,” CoRL, 2018）

• 3. NMP （“End-to-end interpretable neural motion planner,” CVPR，2019）

• 4. SpAGNN （“Spatially-aware graph neural networks for relational behavior forecasting from sensor data,” arXiv:1910.08233, 2019 ）

2 ”Map-Adaptive Goal-Based Trajectory Prediction”

原來Uber ATG匹茲堡團(tuán)隊(duì)在2020年11月13日上傳arXiv。

提出一種多模態(tài)、長時(shí)車輛軌跡預(yù)測方法，GoalNet。該方法依賴于在豐富的環(huán)境地圖中捕獲的車道中心線為每輛車生成一組建議的目標(biāo)路徑（goal paths）。用這些運(yùn)行時(shí)生成、動(dòng)態(tài)適應(yīng)場景的路徑作為空域錨，預(yù)測一組基于目標(biāo)（goal-based）的軌跡以及這些目標(biāo)上的類別分布。這種方法能夠直接模擬交通參與者的目標(biāo)導(dǎo)向（goal- directed）行為，釋放更準(zhǔn)確長時(shí)預(yù)測的潛力。在大規(guī)模內(nèi)部駕駛數(shù)據(jù)集和公共數(shù)據(jù)集nuScenes上的實(shí)驗(yàn)結(jié)果表明，該模型能夠更好地推廣到一個(gè)完全新出現(xiàn)城市的道路場景。

如下圖顯示基于目標(biāo)（goal-based）和基于運(yùn)動(dòng)（motion-based）的軌跡雙重性。兩個(gè)不同的場景，每個(gè)場景都有一個(gè)感興趣的參與者。圖（ a ）中，基于目標(biāo)的軌跡得到高概率（ 98 %），因?yàn)槟繕?biāo)為參與者的運(yùn)動(dòng)提供了一個(gè)很好的解釋。圖（ b ）中，由于候選目標(biāo)路徑不能完全解釋參與者的當(dāng)前運(yùn)動(dòng)，比圖（ a ）（ 2 %）更高的概率（ 27 %）分配到基于運(yùn)動(dòng)的軌跡。

在這兩種情況下，只為每個(gè)參與者提供一條建議的目標(biāo)路徑（goal path），這意味著模型的最簡單變型會(huì)生成兩條軌跡預(yù)測：一條基于目標(biāo)的軌跡用目標(biāo)路徑作為空域錨，另一條基于運(yùn)動(dòng)的軌跡用參與者的前向作為參考方向。這些示例說明，模型能夠在目標(biāo)路徑有意義時(shí)使用，但在沒有目標(biāo)能夠充分解釋參與者當(dāng)前運(yùn)動(dòng)時(shí)，也可以學(xué)習(xí)退回到基于運(yùn)動(dòng)的預(yù)測。

該模型GoalNet，其框架概覽如圖所示：包括3個(gè)組件，即 ( 1 )目標(biāo)提議（goal proposal）：基于局部地圖幾何，為每個(gè)參與者提出一組目標(biāo)；(2)編碼器模塊：參與者狀態(tài)和場景上下文在這個(gè)模塊中進(jìn)行編碼；(3)圖網(wǎng)絡(luò)模塊：用圖網(wǎng)絡(luò)基于編碼特征進(jìn)行預(yù)測。

在圖網(wǎng)絡(luò)中，每個(gè)圖包含兩種類型的節(jié)點(diǎn)：單個(gè)參與者節(jié)點(diǎn) A 和多個(gè)目標(biāo)節(jié)點(diǎn)Gj；圖的有向邊 Ej ，起源于每個(gè)目標(biāo)節(jié)點(diǎn)，并終止于參與者節(jié)點(diǎn)。給定得到的節(jié)點(diǎn)和邊緣表示，從參與者-目標(biāo)邊緣可預(yù)測基于目標(biāo)的軌跡和概率，并從參與者節(jié)點(diǎn)預(yù)測無目標(biāo)（goal-free）軌跡和概率。

模型訓(xùn)練的分類項(xiàng)和回歸損失項(xiàng)分別是：

實(shí)驗(yàn)結(jié)果如下：其中基準(zhǔn)算法是

• 1. MTP（“Multimodal trajectory predictions for autonomous driving using deep convolutional networks”，ICRA，2019 ）

• 2. MultiPath（“MultiPath: Multiple probabilistic anchor trajectory hypotheses for behavior prediction”，ICRL，2020）

• 3. CoverNet（“CoverNet: Multi- modal behavior prediction using trajectory sets”，CVPR 2020）。

如圖左欄顯示感興趣參與者的真實(shí)未來軌跡（綠色），隨后列顯示來自 Goal Net （藍(lán)色）、 MTP （黃色）和MultiPath（粉色）的預(yù)測軌跡。對所有方法，軌跡概率編碼成α不透明值。對 于Goal Net，用紅色顯示目標(biāo)路徑。

3 “RV-FuseNet: Range View Based Fusion of Time-Series LiDAR Data for Joint 3D Object Detection and Motion Forecasting”

原Uber ATG匹茲堡團(tuán)隊(duì)、Aurora和Motional匹茲堡團(tuán)隊(duì)等公司成員在2021年3月23日上傳arXiv。

提出一種從時(shí)間序列激光雷達(dá)數(shù)據(jù)直接做聯(lián)合檢測和軌跡估計(jì)的方法，RV-FuseNet。用激光雷達(dá)數(shù)據(jù)的距離視圖(RV)表征。以前方法將時(shí)間序列數(shù)據(jù)投影到一個(gè)時(shí)域融合的公共視角，與位置不同。對BEV方法來說已經(jīng)足夠，但對RV方法，會(huì)導(dǎo)致信息丟失和數(shù)據(jù)失真，對性能產(chǎn)生不利影響。為此提出一種簡單而有效的新架構(gòu)，步進(jìn)融合（Incremental Fusion），將每個(gè)RV掃描依次投影到下一個(gè)掃描視角，將信息損失降到最低。

如圖展示RV-FuseNet的概覽圖：當(dāng)激光雷達(dá)傳感器旋轉(zhuǎn)時(shí)，不斷產(chǎn)生測量值。這些數(shù)據(jù)被分割成“sweeps”切片，每個(gè)切片包含一個(gè)完整的360?旋轉(zhuǎn)測量值；用sweeps時(shí)間序列提取每點(diǎn)的時(shí)-空特征。用距離視圖(RV)表征，基于骨干網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)；為解決RV時(shí)域融合的挑戰(zhàn)，提出了一種串行組合時(shí)間序列數(shù)據(jù)的方案；用每點(diǎn)特征生成最終的類別檢測及其軌跡，其中每個(gè)點(diǎn)被分割成實(shí)例，而實(shí)例軌跡來自于其點(diǎn)軌跡的平均，最后采用NMS消除重復(fù)的檢測和軌跡。

用概率損失函數(shù)對模型進(jìn)行端到端的訓(xùn)練，這里損失函數(shù)定義為分類項(xiàng)和回歸項(xiàng)：

實(shí)驗(yàn)結(jié)果如下：基準(zhǔn)方法是前面提到的SpAGNN和前面分析過的Laserflow。

4 “MultiXNet: Multiclass Multistage Multimodal Motion Prediction”

原來Uber ATG匹茲堡團(tuán)隊(duì)在2021年5月24日上傳arXiv。

提出 MultiXNet ，一個(gè)直接基于激光雷達(dá)傳感器數(shù)據(jù)的端到端目標(biāo)檢測和運(yùn)動(dòng)預(yù)測方法。該方法處理多個(gè)類的交通行為者，添加一個(gè)聯(lián)合訓(xùn)練的第二階段軌跡細(xì)化步驟，并產(chǎn)生一個(gè)未來參與者運(yùn)動(dòng)的多模態(tài)概率分布，其中包括多個(gè)離散交通行為和標(biāo)定連續(xù)位置的不確定性。

該方法基于以前SOA的工作IntentNet，如圖是MultiXNet架構(gòu)的一覽圖：其中第一階段對應(yīng)的是IntentNet，即參與者檢測及其單模態(tài)運(yùn)動(dòng)預(yù)測，而第二階段對應(yīng)的是多模態(tài)和不確定性-覺察的預(yù)測細(xì)化。

模型輸入的是激光雷達(dá)和地圖的表征，其中地圖的靜態(tài)部分有駕駛路徑、人行道、車道線和道路邊界、交叉路口、私家車道和停車位等。

這里訓(xùn)練損失函數(shù)如下定義：

位置不確定性分解為along-track (AT) 和 cross-track (CT) 方向，這里以AT為例，給出其訓(xùn)練損失項(xiàng)：

KLCT的損失項(xiàng)定義類似。

在第二階段的預(yù)測細(xì)化中，在最終未來軌跡和不確定性預(yù)測進(jìn)行之前，RROI （rotated ROI）特征圖要通過一個(gè)輕量級 CNN 網(wǎng)絡(luò)。第一和第二階段網(wǎng)絡(luò)聯(lián)合訓(xùn)練，第一階段使用全部損失 L 和第二個(gè)階段只有未來的預(yù)測損失，第二階段預(yù)測被用作最終輸出軌跡。第二階段是完全可微分的，因此訓(xùn)練時(shí)，梯度流過第二階段進(jìn)入第一階段。

多模態(tài)預(yù)測輸出有一個(gè)選項(xiàng)，可以通過EM算法或者通過混合密度網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。多模態(tài)預(yù)測的損失函數(shù)包括一個(gè)軌跡損失項(xiàng)和一個(gè)軌跡模式概率的cross entropy，這里第一階段只有單模式預(yù)測。

多參與者包括車輛、行人和自行車。在主干網(wǎng)計(jì)算共享特征之后，輸出分成三組，一類是一組。實(shí)驗(yàn)中發(fā)現(xiàn)，行人和自行車，并不需要采用第二階段的多模態(tài)預(yù)測，第一階段的單模態(tài)預(yù)測結(jié)果就很好。

實(shí)驗(yàn)結(jié)果如下：基準(zhǔn)方法是以前提到的IntentNet和SpAGNN 。

5 “Multi-View Fusion of Sensor Data for Improved Perception and Prediction in Autonomous Driving”

原來Uber ATG匹茲堡團(tuán)隊(duì)在2020年10月27日上傳arXiv。

提出一種端到端目標(biāo)檢測和軌跡預(yù)測的方法，利用激光雷達(dá)返回信號和相機(jī)圖像的多視圖表征。這項(xiàng)工作提出一個(gè)有效通用融合方法，其模型建立在一個(gè)BEV網(wǎng)絡(luò)，融合從一個(gè)序列歷史 激光雷達(dá)數(shù)據(jù)的體素化特征以及光柵化高清地圖，執(zhí)行檢測和預(yù)測任務(wù)。作者擴(kuò)展這個(gè)模型，用原始激光雷達(dá)信息的原生非量化表征構(gòu)建激光雷達(dá)距離視圖（ RV ）特征。RV 特征圖投影到 BEV ，融合從激光雷達(dá)和高清地圖計(jì)算的 BEV 特征。融合的特征，在一個(gè)單一端到端可訓(xùn)練網(wǎng)絡(luò)中進(jìn)一步處理，輸出最終檢測和軌跡。此外，該框架以一個(gè)簡單和計(jì)算有效的方式在 RV 融合激光雷達(dá)和相機(jī)。

如圖是多視角融合的架構(gòu)圖：由兩個(gè)主要部分組成，特征提取器和特征投影器；輸入包括攝像頭圖像、激光雷達(dá)點(diǎn)云和高清地圖的光柵化圖像；多視角模型考慮激光雷達(dá)輸入的兩個(gè)分支，一個(gè)是BEV，另一個(gè)是RV；而攝像頭圖像和激光雷達(dá)融合在RV分支進(jìn)行。

訓(xùn)練的損失函數(shù)如下：

實(shí)驗(yàn)結(jié)果如下：基準(zhǔn)算法包括

• 1. Continuous fusion 即ContFuse（“Deep continuous fusion for multi-sensor 3d object detection”，ECCV'18

• 2. 前面分析的MultiXNet

實(shí)驗(yàn)中多視角融合MV方法記做：LC-MV（LiDAR + camera）和L-MV （LiDAR only）兩種。

如圖是LC-MV (中間) 和MultiXNet (底部)的比較：三個(gè)實(shí)例，包括遮擋車輛、遮擋行人和遮擋自行車，結(jié)果分別顯示為預(yù)測（藍(lán)色）、真值（紅色）。

6 “MVFuseNet: Improving End-to-End Object Detection and Motion Forecasting through Multi-View Fusion of LiDAR Data“

Aurora公司（收購的原Uber ATG團(tuán)隊(duì)）在2021年4月21日上傳arXiv。

這項(xiàng)工作 MVFuseNet ，一種端到端的方法，從時(shí)間序列的激光雷達(dá)數(shù)據(jù)聯(lián)合進(jìn)行目標(biāo)檢測和運(yùn)動(dòng)預(yù)測。大多數(shù)方法在一個(gè)單一視圖操作，即投影數(shù)據(jù)到距離視圖（ RV ）或鳥瞰圖（ BEV ）。相比之下，這個(gè)方法有效利用 RV 和 BEV 做時(shí)-空特征學(xué)習(xí)，是時(shí)域融合網(wǎng)絡(luò)的一部分，也是在一個(gè)骨干網(wǎng)絡(luò)做多尺度特征學(xué)習(xí)。此外，提出一種序貫融合方法，有效地利用時(shí)域融合網(wǎng)絡(luò)的多個(gè)視圖。

如圖是MVFuseNet 的一覽圖：（a）在RV和BEV的激光雷達(dá)數(shù)據(jù)多視圖時(shí)域融合學(xué)習(xí)時(shí)-空特征；將數(shù)據(jù)從一次sweep投影到時(shí)間序列中的下一個(gè)sweep，從而按順序聚合這些sweeps；（b）這些多視圖的時(shí)-空特征，結(jié)合地圖特征在多視圖骨干進(jìn)一步處理，學(xué)習(xí)多尺度特征，最終做檢測和運(yùn)動(dòng)預(yù)測。

如下圖是網(wǎng)絡(luò)組件的概覽：(a) 用所描述的per-sweep網(wǎng)絡(luò)在兩個(gè)視圖時(shí)域融合中處理每個(gè)sweep。注意，在時(shí)域融合，沿著時(shí)間和視圖不共享權(quán)重。(b) HD Map是和網(wǎng)絡(luò)一起處理的，學(xué)習(xí)與激光雷達(dá)特征相結(jié)合的本地地圖特征。(c) 非對稱U-網(wǎng)絡(luò)對BEV的多尺度特征進(jìn)行提取。

在RV，只有寬度維是下采樣，而第一個(gè)卷積層跨度為零。網(wǎng)絡(luò)的每一層都表示為B，k×k，/s，C，N，其中B是block名，k是核大小，s是步長，C是通道數(shù)，N是block的重復(fù)次數(shù)。Conv表示一個(gè)卷積層，然后是批處理歸一化和ReLU。RES表示殘差block。最后提示，用雙線性插值法對樣本進(jìn)行采樣。

實(shí)驗(yàn)結(jié)果如下：其中基準(zhǔn)方法有

• 1. 前面提到的SpAGNN；

• 2. 前面提到的IntentNet；

• 3. 前面分析的Laserflow；

• 4. 前面分析的RVFuseNet；

• 5. 前面分析的MultiXNet；

• 6. 前面分析的多視角融合L-MV和LC-MV；

• 7. LiRANet（“Liranet: End-to-end trajectory prediction using spatio-temporal radar fusion“. arXiv:2010.00731, 2020）

總結(jié)一下：

基于Uber ATG的工作，可以看出Aurora的感知-預(yù)測-決策規(guī)劃是一體化設(shè)計(jì)的，而且考慮了模仿學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)模式開發(fā)，采用不確定性-覺察、多模態(tài)、多智體（車輛、行人和自行車）形式，感知的融合基本實(shí)現(xiàn)端到端時(shí)空融合（包括定位地圖特征）；激光雷達(dá)感知方面基于收購的公司實(shí)現(xiàn)FMCW技術(shù)的幾個(gè)優(yōu)點(diǎn)，而且自研傳感器及其芯片設(shè)計(jì)可以控制成本和保證系統(tǒng)最優(yōu)化，另外自研還開發(fā)了高清地圖數(shù)據(jù)服務(wù)，和模擬仿真及可視化技術(shù)。