自動(dòng)駕駛的高清地圖生成技術(shù)綜述

InfoRich 2022-06-20 發(fā)布于重慶

展開全文

干貨第一時(shí)間送達(dá)

作者丨黃浴

來源丨計(jì)算機(jī)視覺深度學(xué)習(xí)和自動(dòng)駕駛

arXiv上傳論文“High-Definition Map Generation Technologies For Autonomous Driving: A Review“，2022年6月11日，來自加拿大Ontario Tech University。

過去幾年，自動(dòng)駕駛一直是最受歡迎和最具挑戰(zhàn)性的話題之一。在實(shí)現(xiàn)完全自動(dòng)駕駛的道路上，研究人員利用了各種傳感器，如激光雷達(dá)、攝像頭、IMU和GPS，并開發(fā)了用于自動(dòng)駕駛應(yīng)用的智能算法，如目標(biāo)檢測、目標(biāo)分割、避障和路徑規(guī)劃。高清地圖近年來備受關(guān)注，由于其定位精度高和信息量大，立即成為自動(dòng)駕駛的關(guān)鍵部件之一。從Baidu Apollo、NVIDIA和TomTom等，研究人員已經(jīng)為不同場景和目的創(chuàng)建高清地圖，用于自動(dòng)駕駛。

本文回顧最近利用二維和三維地圖生成的高清地圖制作技術(shù)。本文介紹高清地圖的概念及其在自動(dòng)駕駛中的作用，并對(duì)高清地圖生成技術(shù)進(jìn)行了詳細(xì)概述。另外，討論當(dāng)前高清地圖生成技術(shù)的局限性。

“高清地圖（HD map）”概念于2010年Mercedes-Benz首次引入，隨后于2013年為Bertha Drive 項(xiàng)目做出貢獻(xiàn)。在Bertha Drive項(xiàng)目中，Mercedes-Benz S500以完全自主的模式完成了Bertha-Benz Memorial Route，使用高度精確且信息豐富的3D路線圖，該路線圖后來被一家名為HERE的參與地圖公司命名為“高清（HD）實(shí)時(shí)地圖”。

高清地圖包含自動(dòng)駕駛所需的道路/環(huán)境的所有關(guān)鍵靜態(tài)特性（例如：道路、建筑物、交通燈和道路標(biāo)記），包括由于遮擋而無法由傳感器適當(dāng)檢測到的語義目標(biāo)。近年來，用于自動(dòng)駕駛的高清地圖以其高精度和豐富的幾何和語義信息而著稱。它與車輛定位功能緊密相連，并不斷與不同的傳感器交互，包括激光雷達(dá)、雷達(dá)和攝像頭，構(gòu)建自動(dòng)駕駛系統(tǒng)的感知模塊。

這種交互最終支持自動(dòng)駕駛車輛的任務(wù)規(guī)劃和運(yùn)動(dòng)規(guī)劃，如圖所示：

在自動(dòng)駕駛領(lǐng)域，沒有獨(dú)特的標(biāo)準(zhǔn)高清地圖結(jié)構(gòu)。然而，市場上有一些常用的高清地圖結(jié)構(gòu)，如NDS、DMP（Dynamic Map Platform）、HERE 高清實(shí)時(shí)地圖和TomTom。大多數(shù)結(jié)構(gòu)共享類似的三層數(shù)據(jù)結(jié)構(gòu)。如表顯示由TomTom、HERE和Lanelet（Bertha Drive）定義的三層結(jié)構(gòu)化高清地圖。

如圖所示是這種三層結(jié)構(gòu)對(duì)應(yīng)的術(shù)語示意圖：

第一層道路模型（Road Model），定義道路特征，例如拓?fù)洹⑿旭偡较?、高程、坡?坡道（slope/ramps）、規(guī)則、路緣/邊界（curbs/boundaries）和交叉路口。這個(gè)用于導(dǎo)航。

第二層車道模型（Lane Model），定義車道級(jí)別的特征，例如道路類型、線、道路寬度、停車區(qū)域和速度限制。該層作為感知模塊，用于自動(dòng)駕駛，根據(jù)實(shí)時(shí)交通或環(huán)境做出決策。

最后一層定位模型（Localization Model），顧名思義，在高清地圖中定位自動(dòng)車輛。該層包含路邊設(shè)施，例如建筑物、交通信號(hào)、標(biāo)志和路面標(biāo)記。這些特征有助于自動(dòng)車輛快速定位，尤其是在特征豐富的城市地區(qū)。

上述機(jī)構(gòu)制作的高清地圖精確且不斷更新。然而，僅用于商業(yè)化目的，而不是開源。研究人員很難使用上述結(jié)構(gòu)構(gòu)建高清地圖。因此，本文將回顧非商業(yè)化高清地圖生成方法，這些方法可能有助于研究人員創(chuàng)建個(gè)性化高清地圖，并開發(fā)新的高清地圖生成方法。

數(shù)據(jù)獲取/收集是生成高清地圖的第一步。數(shù)據(jù)采集用一個(gè)移動(dòng)地圖系統(tǒng)（MMS）完成。MMS是一種裝有地圖傳感器的移動(dòng)車輛，包括GNSS（全球?qū)Ш叫l(wèi)星系統(tǒng)）、慣導(dǎo)IMU、激光雷達(dá)、攝像頭和雷達(dá)，用于收集地理空間數(shù)據(jù)。商業(yè)化高清地圖提供商采用眾包技術(shù)收集數(shù)據(jù)，以構(gòu)建和維護(hù)高清地圖。

Level5與Lyft合作，沿加利福尼亞州帕洛阿爾托的固定路線派送20輛自動(dòng)駕駛汽車，收集由17萬個(gè)場景組成的數(shù)據(jù)集，一張帶有1萬5千242個(gè)標(biāo)記元素的高清語義地圖，以及該地區(qū)的高清鳥瞰圖。TomTom通過多源方法收集數(shù)據(jù)，包括測繪車輛、GPS跟蹤、社區(qū)輸入、政府來源和車輛傳感器數(shù)據(jù)。HERE利用全球400多輛制圖車、政府?dāng)?shù)據(jù)、衛(wèi)星圖像和社區(qū)輸入，不斷獲取最新的道路信息。

通過眾包收集數(shù)據(jù)可以在很短的時(shí)間內(nèi)得到大量最新的道路/交通數(shù)據(jù)。眾包數(shù)據(jù)還包含不同的環(huán)境，包括城市、鄉(xiāng)鎮(zhèn)和農(nóng)村地區(qū)。然而，由于多個(gè)移動(dòng)地圖系統(tǒng)付出的高成本和數(shù)據(jù)收集必要的時(shí)間開銷，該方法不是研究人員的最佳解決方案。有研究人員也利用MMS收集數(shù)據(jù)。他們沒有收集世界各地不同類型環(huán)境的數(shù)據(jù)，而是專注于規(guī)模小得多的區(qū)域，如城市、大學(xué)校園或住宅區(qū)。收集的數(shù)據(jù)類型也更多地用于研究目的。

此外，還有大量開源數(shù)據(jù)，如衛(wèi)星圖像、KITTI數(shù)據(jù)集、Level5 Lyft數(shù)據(jù)集和nuScenes數(shù)據(jù)集，供研究人員測試和生成高清地圖。這些數(shù)據(jù)集包含2D和3D真實(shí)世界的交通數(shù)據(jù)，包括圖像、3D點(diǎn)云和IMU/GPS數(shù)據(jù)，這些數(shù)據(jù)已經(jīng)被組織和標(biāo)注。

如表總結(jié)了數(shù)據(jù)收集方法及其比較

一旦收集到初始傳感器數(shù)據(jù)，通常會(huì)對(duì)其進(jìn)行融合和排序以生成初始地圖，主要用于精確定位。初始地圖主要使用3D激光傳感器生成；然而，它可以與其他傳感器融合，如IMU、GPS、里程計(jì)和視覺里程計(jì)，以便在高清地圖中進(jìn)行更精確的狀態(tài)估計(jì)。INS和GPS傳感器提供方向和位置信息，它們更新厘米精度范圍內(nèi)的地圖位置。

這些點(diǎn)云地圖具有很高的精度，后來可以幫助地面車輛在3D空間厘米級(jí)進(jìn)行精確機(jī)動(dòng)和定位。之后，從地圖做點(diǎn)云校準(zhǔn)后，將從PCL map創(chuàng)建矢量地圖。點(diǎn)云校準(zhǔn)稱為多步過程（如圖所示），將多個(gè)重疊的點(diǎn)云對(duì)齊，以生成詳細(xì)而準(zhǔn)確的地圖。

矢量地圖包含與車道、人行道、十字路口、道路、交叉路口、交通標(biāo)志和紅綠燈相關(guān)的信息。這一關(guān)鍵特征后來被用于檢測交通標(biāo)志和信號(hào)燈、路線規(guī)劃、全局規(guī)劃和局部路徑規(guī)劃。毫無疑問，地圖生成是高清地圖制作的一個(gè)組成部分，可以定義為一個(gè)HD地圖的基礎(chǔ)幾何地圖層。

地圖生成技術(shù)可分為在線地圖和離線地圖。離線地圖數(shù)據(jù)全部收集在一個(gè)中心位置。這些數(shù)據(jù)采用衛(wèi)星信息或激光雷達(dá)/攝像頭存儲(chǔ)的數(shù)據(jù)。收集數(shù)據(jù)后，將脫機(jī)生成地圖。另一方面，使用在線地圖中的輕量級(jí)模塊自動(dòng)生成地圖。除了地圖生成類型外，地圖繪制技術(shù)還可以通過傳感器或傳感器的融合方式進(jìn)行分類。

以下討論的地圖技術(shù)需要基于激光雷達(dá)傳感器，因?yàn)槠湓谶h(yuǎn)距離顯示出良好的精度。

目前，所有有前途的地圖技術(shù)都將激光作為主要傳感器用于地圖繪制，完成高清地圖。另一方面，有一些方法僅使用視覺傳感器來構(gòu)建點(diǎn)云地圖。

有一種點(diǎn)云校準(zhǔn)技術(shù)用于3D模型生成，可分成：基于分割、基于激光雷達(dá)、融合里程計(jì)的、融合GPS的、融合INS和融合視覺傳感器的方法等。

如圖是整體激光雷達(dá)制圖的工作流：

為了讓自車定位并遵循運(yùn)動(dòng)規(guī)劃和任務(wù)規(guī)劃，需要進(jìn)行特征提取，例如道路/車道提取、道路標(biāo)記提取和桿狀目標(biāo)提取。傳統(tǒng)上，特征提取靠人工完成，成本高、耗時(shí)長、精度低。近年來，機(jī)器學(xué)習(xí)輔助高清地圖生成技術(shù)得到了發(fā)展和廣泛應(yīng)用，可提高特征提取精度，減少人工工作量。

機(jī)器學(xué)習(xí)輔助的高清地圖制成，利用人-在-環(huán)（HITL）技術(shù)，該技術(shù)涉及人機(jī)交互。人工數(shù)據(jù)標(biāo)注，標(biāo)注的數(shù)據(jù)使用監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練。高精度/置信度的結(jié)果將保存到HD地圖，低精度/置信度的結(jié)果將由人工檢查并發(fā)回算法進(jìn)行重新訓(xùn)練。機(jī)器學(xué)習(xí)已被廣泛應(yīng)用于提取道路/車道網(wǎng)絡(luò)、道路標(biāo)記和交通信號(hào)燈。

道路網(wǎng)絡(luò)提取

1）基于2D航空影像的道路提取

道路圖/網(wǎng)絡(luò)對(duì)于自動(dòng)駕駛系統(tǒng)至關(guān)重要，以定位自車并規(guī)劃路線。從航空?qǐng)D像中提取道路地圖也很有吸引力，因?yàn)楹娇照掌ǔ８采w城市范圍的地圖，并通過衛(wèi)星不斷更新。然而，從航空?qǐng)D像手工創(chuàng)建道路圖需要大量的人力和時(shí)間。由于人為錯(cuò)誤，也不能保證精確的道路圖。因此，需要自動(dòng)化道路圖提取的方法。

2D航空影像的自動(dòng)道路網(wǎng)絡(luò)提取可分為三種不同的方法：基于分割的方法、迭代圖生長方法和圖生成方法。

基于分割的方法從航空?qǐng)D像中預(yù)測分割概率圖，細(xì)化分割預(yù)測并通過后處理提取圖。

迭代圖生長方法首先選擇道路網(wǎng)絡(luò)的幾個(gè)頂點(diǎn)，從2D航空?qǐng)D像生成道路網(wǎng)絡(luò)。然后，逐頂點(diǎn)生成道路，直到創(chuàng)建整個(gè)道路網(wǎng)絡(luò)。

圖生成方法直接從航空?qǐng)D像中預(yù)測道路網(wǎng)絡(luò)圖。該方法將輸入的航空?qǐng)D像編碼為向量場，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。然后通過解碼算法將預(yù)測解碼為圖。該方法已被用于預(yù)測道路網(wǎng)絡(luò)圖，包括線段、線形目標(biāo)和多邊形的建筑。

在SpaceNet和DeepGlobe數(shù)據(jù)集上對(duì)各種分割方法進(jìn)行評(píng)估，結(jié)果如表所示：

2）從3D點(diǎn)云提取道路

在生成高清地圖的過程中，基于3D點(diǎn)云的道路或車道提取得到了廣泛的應(yīng)用。激光雷達(dá)點(diǎn)云具有高精度，通常在毫米級(jí)精度，并包含掃描目標(biāo)的幾何信息。使用3D點(diǎn)云的道路提取是用分割。

3）采用傳感器融合的道路/道路邊界提取

2D航空影像和3D點(diǎn)云上的道路提取都有局限性。由于照明條件差、路邊設(shè)施造成的遮擋以及各種地形因素，從衛(wèi)星和航空?qǐng)D像中提取的道路網(wǎng)絡(luò)通常不準(zhǔn)確且不完整?；?D點(diǎn)云的特征提取還面臨遮擋和點(diǎn)密度波動(dòng)問題，這會(huì)導(dǎo)致不準(zhǔn)確和不完整的道路提取。在提取道路或道路邊界時(shí)，單一數(shù)據(jù)源的局限性顯而易見。因此，研究人員一直在利用多源數(shù)據(jù)來提取和完成道路或道路邊界。

4）其他方法（略）

道路提取可以通過不同的數(shù)據(jù)源完成，包括攝像頭圖像、衛(wèi)星和航空?qǐng)D像、激光雷達(dá)點(diǎn)云和GPS軌跡。衛(wèi)星和航空?qǐng)D像可以覆蓋大尺度地圖，城市道路網(wǎng)絡(luò)的道路提取因此變得高效。然而，從衛(wèi)星和航空?qǐng)D像中提取的道路網(wǎng)絡(luò)不包含深度或高程信息。

從航空?qǐng)D像中提取道路的性能在很大程度上取決于圖像的質(zhì)量。照明條件差、路邊建筑造成的遮擋以及各種地形因素等因素都會(huì)降低提取性能。相比之下，從3D點(diǎn)云中提取道路具有更多的幾何信息和較高的精度（毫米級(jí)），但也面臨遮擋問題，導(dǎo)致道路提取不完整。點(diǎn)密度波動(dòng)問題也會(huì)導(dǎo)致道路提取不準(zhǔn)確。

引入傳感器融合方法，通過融合不同的數(shù)據(jù)源（如航空?qǐng)D像、GPS數(shù)據(jù)、攝像頭圖像和激光雷達(dá)點(diǎn)云），進(jìn)一步提高道路提取性能。傳感器融合方法優(yōu)于單一數(shù)據(jù)源的方法，在道路提取方面取得了顯著的效果。

下表總結(jié)了三種方法的比較：

道路標(biāo)記提取

道路標(biāo)記/人行道標(biāo)記是混凝土和瀝青路面上的標(biāo)志。通常涂有高度反光材料，對(duì)人類視覺和自動(dòng)駕駛車輛的傳感器可見。道路標(biāo)記是高清地圖的基本特征，為自車提供有關(guān)交通方向、轉(zhuǎn)彎車道、可行駛和不可行駛車道、人行橫道等信息。與道路提取方法類似，也可以使用2D圖像或3D點(diǎn)云進(jìn)行道路標(biāo)記提取。

1）2D圖像

傳統(tǒng)上，2D圖像的道路標(biāo)記提取通過圖像處理和計(jì)算機(jī)視覺來實(shí)現(xiàn)。首先對(duì)包含道路標(biāo)記的圖像進(jìn)行去噪和增強(qiáng)，使道路標(biāo)記清晰可見，并突出目標(biāo)（target）和背景區(qū)域之間的對(duì)比。然后，使用圖像處理和計(jì)算機(jī)視覺方法提取目標(biāo)道路標(biāo)記，如基于邊緣的檢測（如Roberts、Sobel、Prewitt、Log和Canny等算子）、閾值分割（如Otsu方法和迭代方法）、k-均值聚類和區(qū)域增長法。

傳統(tǒng)的方法在從人行道或混凝土道路中提取道路標(biāo)記方面取得了顯著的效果。然而，沒有正確識(shí)別不同道路標(biāo)記的簡單提取對(duì)于自車?yán)斫獾缆芬?guī)則來說不夠有效。隨著CNN的引入和快速發(fā)展，涉及CNN的方法已被廣泛開發(fā)并用于檢測和識(shí)別道路標(biāo)記。

2D圖像上的道路標(biāo)記提取和識(shí)別通常采用兩種不同的方法。一種是利用車載攝像頭捕獲的前視圖圖像。二是從航空影像中提取道路標(biāo)線。這兩種方法的示例如圖所示：

在前視TuSimple數(shù)據(jù)集的道路標(biāo)記提取方法比較如下：

UAVMark20 和 AerialLanes18 是兩個(gè)航空?qǐng)D像數(shù)據(jù)集，其中道路標(biāo)記提取方法的比較如下：

與航空?qǐng)D像相比，前視圖像上的道路標(biāo)記提取方法視野更小，并且檢測/處理時(shí)間也比在航空?qǐng)D像要長。然而，由于檢測基于實(shí)時(shí)攝像頭圖像，因此可以對(duì)道路標(biāo)記的更改，如磨損和遮擋，比較靈活。相比之下，航空?qǐng)D像上的道路標(biāo)記提取可以提取更大尺度的道路標(biāo)記，并將提取的道路標(biāo)記存儲(chǔ)在高清地圖中，減少檢測時(shí)間。然而，對(duì)由照明條件、遮擋和道路標(biāo)記磨損引起的數(shù)據(jù)毛病非常敏感。

2）激光雷達(dá)點(diǎn)云

在3D點(diǎn)云上提取道路標(biāo)記，通常有兩種不同的方法，自底向上（bottom-up）方法和自頂向下（top-down）方法。自底向上方法通過分割道路標(biāo)記和背景，直接提取道路標(biāo)記。相反，自頂向下的方法使用CNN檢測預(yù)定義的幾何模型，并根據(jù)檢測結(jié)果重建道路標(biāo)記。

自底向上法利用深度學(xué)習(xí)算法，在目標(biāo)檢測和分割的基礎(chǔ)上，直接從原始的3D點(diǎn)云中提取道路標(biāo)記。與閾值相關(guān)的方法及其擴(kuò)展，包括多閾值方法和多閾值與幾何特征濾波相結(jié)合的方法，廣泛用于道路標(biāo)記提取。在提取道路標(biāo)記之前，將3D點(diǎn)云轉(zhuǎn)換為2D georeferenced灰度圖像，顯著降低計(jì)算復(fù)雜性，但丟失姿態(tài)（位置和方向）或空間信息。

自頂向下法使用現(xiàn)有的目標(biāo)檢測算法來檢測和定位道路標(biāo)記的幾何模型?；跈z測和定位，在3D點(diǎn)云上重建道路標(biāo)線。

自底向上法可以直接從MLS點(diǎn)云中提取道路標(biāo)記，加快道路標(biāo)記提取速度，但對(duì)不完善的原始數(shù)據(jù)敏感。相比之下，不完美的原始數(shù)據(jù)對(duì)自頂向下法影響較小，但自頂向下法非常耗時(shí)，因?yàn)闄z測會(huì)導(dǎo)致巨大的搜索空間。與自底向上法相比，自頂向下法提取道路標(biāo)記的方法并不多。因此，自頂向下的道路標(biāo)記提取方法需要進(jìn)一步研究。

值得提出來的是，在高清地圖中，交通燈、交通標(biāo)志、路燈、樹木和電話線桿等桿狀（pole-like）目標(biāo)對(duì)于道路環(huán)境至關(guān)重要。它們可以幫助定位（不同于其他道路設(shè)施的形狀）和運(yùn)動(dòng)規(guī)劃（交通信號(hào)燈提供交通流條件）。桿狀目標(biāo)提取通常是通過MLS 3D點(diǎn)云的分割和分類來完成的，提取的性能也取決于點(diǎn)云的質(zhì)量。因此，需要進(jìn)一步研究如何提高非理想數(shù)據(jù)下的桿狀目標(biāo)提取性能。

隨著高清地圖越來越復(fù)雜，需要提取的環(huán)境特征越來越多，有必要用框架形式的軟件工作，充分存儲(chǔ)地圖中的相關(guān)信息，并確保地圖的視角一致性。這里有三種用于創(chuàng)建高清地圖的流行開源框架，包括Lanelet2、OpenDRIVE和百度Apollo maps。

如圖是LaneLet2地圖結(jié)構(gòu):

如圖是OpenDrive地圖的三個(gè)特征/層：參考線/道路、車道和特征。

高清地圖生成技術(shù)近年來發(fā)展迅速。然而，仍然存在一些限制。2D圖像上的特征提取可以使用航空?qǐng)D像快速生成大尺度地圖的車道線和道路標(biāo)記等特征，但提取是不包含高度或深度信息。將道路網(wǎng)絡(luò)GPS數(shù)據(jù)與收集的GPS數(shù)據(jù)進(jìn)行匹配并添加相應(yīng)的高度，可以手動(dòng)將高度或高度信息添加到2D地圖中，這樣創(chuàng)建2.5D地圖。然而，仍然缺乏深度信息，對(duì)自車?yán)@過障礙物非常重要。2D HD地圖對(duì)基礎(chǔ)設(shè)施的細(xì)微變化也不敏感，無法保持地圖的最新狀態(tài)。

從MLS 3D點(diǎn)云提取特征是高清地圖添加詳細(xì)道路信息的一種更常見、更強(qiáng)大的方法。提取3D特征的高清地圖可提供深度信息和更新的環(huán)境信息，但需要昂貴的激光雷達(dá)設(shè)施和高計(jì)算成本。收集可用的點(diǎn)云數(shù)據(jù)也很耗時(shí)。

高清地圖存在的公開問題：

1、2D地圖添加更多特征，如深度信息，并保持更新；
2、提高3D地圖生成的效率，使大規(guī)模高清地圖的3D制圖模塊成為可能，無需耗費(fèi)太多時(shí)間和計(jì)算能力。

一種解決方案是集成道路網(wǎng)絡(luò)和點(diǎn)云數(shù)據(jù)以生成高清地圖，這可以通過Autoware實(shí)現(xiàn)。

目前還沒有很多針對(duì)人行道特征提取的方法（幾乎沒有）。這是至關(guān)重要的，也是迫切需要的，因?yàn)橐恍┳詣?dòng)駕駛系統(tǒng)要么設(shè)計(jì)用于在人行道行駛，要么要求在高速公路測試之前在人行道上進(jìn)行可行性測試。

此外，高清地圖的補(bǔ)全和完成（將所有模塊和特征合并到高清地圖中）仍然是地圖公司開發(fā)的商業(yè)化方法。這對(duì)于學(xué)術(shù)界和研究人員來說仍然是一個(gè)懸而未決的問題，需要進(jìn)一步的研究和結(jié)論。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： InfoRich > 《綜述》

舉報(bào)/認(rèn)領(lǐng)