厚勢按：在現(xiàn)有車道線識別算法的基礎(chǔ)上，本文提出了一種更完善的檢測算法。通過逆透視投影變換轉(zhuǎn)換坐標(biāo)，對輸入圖像應(yīng)用雙邊濾波、大律法二值化、形態(tài)學(xué)處理等前處理過程，消減噪聲；最后使用 Canny 算子進(jìn)行邊緣檢測，并利用 Hough 變換識別直線，對結(jié)果進(jìn)行篩選。實(shí)驗(yàn)證明車道線識別算法能在不同環(huán)境下成功地識別出車道線，該算法有著較好的實(shí)時(shí)性和魯棒性。

本文來自 2018 年 8 月 15 日出版的《公路交通科技（應(yīng)用技術(shù)版）》，作者是交通運(yùn)輸部科學(xué)研究院交通信息中心黃窈蕙。

視覺圖像處理技術(shù)是智能駕駛汽車的基礎(chǔ)，車道線的檢測是這其中最重要的一部分。本文針對智能駕駛汽車視覺圖像處理技術(shù)中的車道線檢測算法進(jìn)行了研究。

首先利用逆透視變換將攝像頭獲取的圖像轉(zhuǎn)換到世界坐標(biāo)下，通過一系列的預(yù)處理過程衰減噪聲，突出車道線邊緣信息。然后對圖像應(yīng)用邊緣檢測，使用 Hough 變換識別車道線。并利用識別結(jié)果的斜率篩選所識別的直線，最終得到車道線檢測結(jié)果。

在機(jī)器視覺領(lǐng)域，當(dāng)前的比較流行的開發(fā)模式是「軟件平臺+工具包」的組合。常用的軟件平臺包括了：VC、C#、VB 等，而比較流行的工具包包括：OpenCV、halcon、邁斯肯等。

OpenCV 是一個(gè)開源項(xiàng)目，對多個(gè)操作系統(tǒng)平臺都有很好的兼容性，可以在 Linux、Windows 和 Mac OS 操作系統(tǒng)上使用。它的算法具有很高的效率。OpenCV 包含了大量的基于 C 語言的函數(shù)和 C++ 類構(gòu)成，對于其他常用的編程語言也開放了接口，因此我們可以使用 Python、Ruby、MATLAB 等語言編輯相關(guān)算法。因?yàn)槠溟_源性，OpenCV 很好的包含了圖像處理和計(jì)算機(jī)視覺方面的一系列基礎(chǔ)的處理過程。

由于 OpenCV 在計(jì)算機(jī)圖像處理方面的優(yōu)勢，本文采用 OpenCV 和 VS 平臺的結(jié)合，進(jìn)行車道線檢測相關(guān)算法實(shí)現(xiàn)，基于 Windows 系統(tǒng)平臺進(jìn)行開發(fā)。

1. 圖像預(yù)處理

基于針孔透視的基本模型，現(xiàn)實(shí)世界中平行的車道線，在攝像機(jī)獲取的圖像中，往往是不平行甚至是相交的。經(jīng)典的車道線識別方法直接識別這些相交的車道線，而本章的車道線識別算法第一步則是通過逆透視投影變換，將攝像頭圖像轉(zhuǎn)換為世界坐標(biāo)下，從而得到道路的俯視圖，便于后續(xù)處理。在逆透視投影變換中，需要用到攝像頭的相關(guān)參數(shù)：標(biāo)定后的攝像頭內(nèi)參數(shù)（包括了焦距，光學(xué)中心）及外參數(shù)（俯仰角，航向角，攝像機(jī)距地面高度）。

假設(shè)圖像平面上其中一個(gè)像素點(diǎn)的坐標(biāo)為；iP ={u，v，1，1}，轉(zhuǎn)化為地面坐標(biāo) gP = {xg，yg，－h(huán)，1}，可以通過以下變換實(shí)現(xiàn)：

??

其中，{f_u，f_v}是水平和豎直方向的焦距長，{c_u，c_v}是攝像頭光學(xué)中心，而且 c1 = cosα，c2 = cosβ，s1= sinα，s2 = sinβ。

圖 1  車道圖像

圖 2  逆投影透視變換后

經(jīng)過了逆投影透視變換后，在現(xiàn)實(shí)中平行的車道線在世界坐標(biāo)中也為平行狀態(tài)，后續(xù)通過霍夫變換檢測的車道直線很容易由斜率篩選出來，同時(shí)也便于后續(xù)的形態(tài)學(xué)處理。在逆投影透視變換的過程中，也過濾了大部分的無關(guān)區(qū)域，減少了大量的計(jì)算時(shí)間，提高了算法的實(shí)時(shí)性。

在車輛攝像頭獲取單目圖像的過程中，由于光照的變化、車輛本身姿態(tài)的不穩(wěn)定以及成像系統(tǒng)及其傳輸介質(zhì)的不完善，攝像頭獲取的數(shù)字圖像往往會受到多種噪聲的污染。同時(shí)，在圖像處理的過程中，一些操作也會引入一部分噪聲，對之后的操作造成影響。

圖像濾波，指的是在盡量不破壞輸入圖像細(xì)節(jié)特征的前提下，減少輸入圖像的噪點(diǎn)。常用的線性濾波手段包括了：均值濾波和高斯濾波。

• 均值濾波，是最直接簡潔的一種濾波算法，對輸入圖像內(nèi)核里對應(yīng)像素求平均值，得到輸出。在均值濾波中，內(nèi)核越大，圖像處理的結(jié)果越模糊，從而對細(xì)節(jié)信息的損害也就越嚴(yán)重，這是均值濾波方法的根本缺陷，即在圖像濾波的過程中也失去了大量的細(xì)節(jié)特征，對后續(xù)的識別算法帶來不好的影響。

• 高斯濾波是一種線性平滑濾波手段，相比較于直接對鄰近像素點(diǎn)求平均值，高斯濾波對圖像進(jìn)行的是加權(quán)平均的處理，在處理的時(shí)候，輸出圖像上點(diǎn)的灰度值，都等于它本身及其鄰域內(nèi)的相關(guān)像素的值，經(jīng)過加權(quán)平均后計(jì)算得出。高斯濾波的具體操作是：用定義好的內(nèi)核逐個(gè)處理圖像中的像素，處理后內(nèi)核中心像素點(diǎn)的灰度值，就等于用內(nèi)核大小確定的鄰域內(nèi)所有像素值的加權(quán)平均值。采用高斯濾波，可以有效的抑制服從正態(tài)分布的噪聲，但同樣也在處理的過程中丟失了大量的圖像細(xì)節(jié)信息。

常用的非線性濾波手段包括了：中值濾波，雙邊濾波等。

• 中值濾波是現(xiàn)今車道識別算法中比較流行的一種非線性濾波方法，該算法既能有效的消減椒鹽噪點(diǎn)、脈沖噪點(diǎn)，也能較好的保存圖像的細(xì)節(jié)信息，特別是對車道處理非常重要的邊緣細(xì)節(jié)。中值濾波的計(jì)算過程如下：計(jì)算圖像上每個(gè)點(diǎn)一定鄰域范圍內(nèi)各個(gè)像素點(diǎn)的灰度值，求出中間值，用這個(gè)中間值作為輸出值代替原圖像像素點(diǎn)的值，從而減少圖像中由于各種原因產(chǎn)生的噪聲點(diǎn)。中值濾波能很好的抑制椒鹽噪聲，但在實(shí)際使用過程中，若內(nèi)核大小選擇不當(dāng)，則很可能在處理后丟失細(xì)節(jié)信息，因此在車道線檢測中，傳統(tǒng)的中值濾波手段并不是最優(yōu)的濾波方法。

  
  

• 本文采用雙邊濾波的方法對圖像進(jìn)行濾波：

??

其中，式中對應(yīng)每一個(gè)像素點(diǎn)的加權(quán)系數(shù) w(i，j)，是空間臨近度和亮度相似度兩個(gè)相關(guān)因子的積。

在圖像變化比較緩和的區(qū)域，這就等效于一個(gè)低通的濾波器；而在圖像灰度有很大跳躍的區(qū)域，算法就利用像素點(diǎn)附近像素灰度的平均值來替換原值。

從攝像頭獲取的一般為彩色圖像，而車道線的識別一般是基于圖像的邊緣特征而非色彩特征。將彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像，大大加快了算法的運(yùn)算速度，提高了實(shí)時(shí)性。

根據(jù)閾值選取辦法的不同，二值化方法包括了全局閾值法和局部閾值法。本文使用整體最優(yōu)閾值法（Otsu 法）進(jìn)行二值化分割。

圖 3  原車道圖像

圖 4  全局閾值法與 Ostu 整體最優(yōu)閾值法分割

整體最優(yōu)閾值法（Otsu 法）是 Otsu 在 20 世紀(jì) 70 年代提出的，這種二值法相對簡單，是基于對最小方差法原理的理解和推算，主要任務(wù)是根據(jù)圖像計(jì)算一個(gè)最優(yōu)的閾值，使不同類間的分離性最好，是一種可以用客觀評價(jià)因子來描述效果的圖像閾值分割方法。

其原理是計(jì)算圖像像素點(diǎn)灰度值的分布特點(diǎn)，把類間的方差作為判斷標(biāo)準(zhǔn)，選擇使得類間方差取到極值的灰度值作為我們需要的自適應(yīng)的閾值。

在數(shù)字圖像處理中，形態(tài)學(xué)操作的基本的運(yùn)算子包括了：膨脹、腐蝕、開和閉。設(shè)有二維空間 F 和 G，在其上分別定義 f(x) 和 g(x) 兩個(gè)函數(shù)，其中 f(x) 為原始圖，g(x) 為變換函數(shù)，則 f(x) 對于 g(x) 的腐蝕和膨脹分別定義為：

??

開運(yùn)算指的是對圖像先后應(yīng)用上述兩式的運(yùn)算?？梢韵龍D像中小的噪聲點(diǎn)、使圖像邊緣較細(xì)的地方分離、平滑圖像中占比較大的圖形邊界的同時(shí)基本不增大或減小其面積。f(x) 對于 g(x) 的開運(yùn)算定義為：

同理，閉運(yùn)算指的是對圖像先后應(yīng)用上述兩式的運(yùn)算。用來填滿圖形內(nèi)部的小洞、使靠近的圖形連接、平滑圖形的邊界的同時(shí)基本不增大或減少其面積。

邊緣檢測是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的最重要的檢測方式之一，這類方法可以計(jì)算出圖像中色彩值增減明顯的像素點(diǎn)坐標(biāo)。經(jīng)過了邊緣檢測后的圖像，信息量大大減小，但卻留下對其他圖像處理手段來說非常必要的邊緣特征。

圖像中色彩值跳躍并不明顯的區(qū)域，鄰近的像素點(diǎn)間色彩值變化不大，對色彩值求一階導(dǎo)數(shù)，導(dǎo)數(shù)接近于零，但是圖像中色彩值跳躍明顯的區(qū)域，一階導(dǎo)數(shù)的值則較大，據(jù)此可以計(jì)算邊緣所經(jīng)過的坐標(biāo)。然后對色彩值求二階導(dǎo)數(shù)，用結(jié)果判定該坐標(biāo)在檢測出的邊緣的哪一邊。

1986 年，Canny 提出了 Canny 邊緣檢測算法。Canny 算子求邊緣點(diǎn)算法主要有 4 個(gè)步驟：

用高斯濾波器平滑圖像：

計(jì)算梯度的幅值和方向：

幅值和方位角的表示：

??

進(jìn)行非極大值抑制。遍歷圖像， 核的中心像素點(diǎn) M[x，y] 與沿著水平方向和垂直方向的臨近像素點(diǎn)進(jìn)行對比，如果 M[x，y] 的梯度小于這兩個(gè)方向的像素點(diǎn)梯度，則令 M[x，y]= 0。

識別和鏈接邊緣。設(shè)定兩個(gè)閾值為 t1 和 t2，在本章中設(shè)定 t1 = 0.33t2。當(dāng)在某一坐標(biāo)上輸入圖像中梯度值小于 t1 時(shí)，將該坐標(biāo)灰度大小輸出為 0，得到圖像 1。當(dāng)在某一坐標(biāo)上輸入圖像中梯度值小于 t2 時(shí)，將灰度大小輸出為 0，得到圖像 2。因?yàn)閷D像 1 檢測的閾值大于 2 的閾值，處理后圖像 2 保留的信息量要小于圖像 1?？梢砸詧D像 1 為基礎(chǔ)，以圖像 2 作為補(bǔ)充連接圖像邊緣。

2. 車道線的識別和后處理

道路模型分為 2 種，直線和非直線。非直線模型包括了：二次函數(shù)曲線模型，三次 B 樣條曲線模型等。相對于曲線車道模型，直線的車道模型更加簡單，能符合車道識別算法實(shí)時(shí)性的要求。又因?yàn)樵谲囕v行駛速度不快的情況下，近場的車道線可近似看做平行的直線。

因此在本章中，車道模型選擇了近場的直線模型：

其中，u，v 分別代表車道圖像的橫、縱坐標(biāo)，用 k 代表直線的斜率，b 代表截距，h 為消失點(diǎn)在圖像坐標(biāo)下的縱坐標(biāo)大小。

對直線的識別常用 Hough 變換及最小平方法擬合。最小平方法通過計(jì)算誤差平方和的最小值來尋找最佳的匹配直線，計(jì)算量較小，但在圖像處理中因?yàn)閷υ肼曄鄬γ舾卸^少使用在直線的檢測中。使用霍夫變換檢測直線計(jì)算量大，但可以容忍一定噪聲的存在，具有更好的魯棒性，因此多用于車道線的檢測。

Hough 變換是一種空間之間的變換，它把直線從平面圖像空間轉(zhuǎn)換到參數(shù)空間，可以用于識別圖像中具有函數(shù)定義的目標(biāo)，例如直線、圓等。

圖 5  圖像空間與參數(shù)空間的映射關(guān)系

ρ 是在極坐標(biāo)系下，坐標(biāo)原點(diǎn)到直線的法向距離，θ 定義如圖所示，因此我們可以由 ( p，Θ) 唯一地確定一條直線。同時(shí)，對于像素點(diǎn)空間 f( x，y) 中的任意一點(diǎn) fi(x，y)，使用變換轉(zhuǎn)換關(guān)系 p = xcosΘ + ysinΘ 變換為極坐標(biāo)形式。

圖像中的一點(diǎn) p( x，y) 通過此式轉(zhuǎn)換為參數(shù)空間中的一條三角函數(shù)曲線，這條曲線的相位和幅值由參數(shù) x，y 決定，輸入圖像中位于同一條直線上的幾個(gè)點(diǎn) 1，2，3 映射在參數(shù) ( p，Θ) 空間的三角函數(shù)曲線都會相交于同一點(diǎn) p(x，y)。

本章提出的車道線檢測算法基于近場車道線是直線的假設(shè)，逆透視投影變換后，車道線應(yīng)為平行的直線，斜率接近于正負(fù)無窮，而停止線則應(yīng)為斜率接近于零的直線。因此利用斜率可以過濾掉一部分誤檢測的直線，同樣可以分辨普通車道線和停止線。

圖 6 多車道情況的車道識別效果

圖 7  車道標(biāo)線不全時(shí)的識別效果

圖 8  路面紋路復(fù)雜時(shí)的識別效果

圖 9  車道線為彎道時(shí)的識別效果

本章的算法利用基于 Visual Studio 2010 的 OpenCV 2. 11 開發(fā)，運(yùn)行環(huán)境為 Windows 7 系統(tǒng)。用于測試的道路圖像來自加州理工學(xué)院的道路圖片庫，該圖庫的圖片被廣泛用在道路識別算法的驗(yàn)證中。作為補(bǔ)充，一部分從網(wǎng)上搜集的道路圖片也被應(yīng)用于測試。

3. 結(jié)論

研究了基于單目視覺的車道線檢測算法，對攝像頭獲取的彩色圖像進(jìn)行預(yù)處理，應(yīng)用逆透視變換將圖像轉(zhuǎn)換到世界坐標(biāo)上。

然后對圖像應(yīng)用雙邊濾波，衰減噪聲；將圖像從 RGB 色彩空間簡化為灰度圖，然后進(jìn)行基于 OSTU 大律法的自適應(yīng)二值化處理。對結(jié)果應(yīng)用形態(tài)學(xué)操作，減小噪聲并平滑邊界，利用 Canny 算子進(jìn)行邊緣識別。

最后基于近場的直線模型，使用 Hough 變換識別二值圖中的直線。在世界坐標(biāo)下利用斜率篩選識別出的直線。

實(shí)驗(yàn)證明該算法能較好的識別變化環(huán)境下的車道線，有較強(qiáng)的魯棒性。

參考文獻(xiàn)

[1] Lee J W. A Machine Vision System for Lane-Departure Detection. Computer Vision ＆ Image Understanding，2002，86(1):52-78

[2] Young Uk Yim，Se-Young Oh.  Three-feature based automatic lane detection algorithm (TFALDA) for autonomous driving. IEEE Transactions on Intelligent Transportation Systems，2003，4

[3] Bucher T. Image processing and behavior planning for intelligent vehicles. IEEE Transactions on Industrial Electronics，2003，50(1):62-75

[4] Yue Wang， Eam Khwang Teoh，Dinggang Shen. Lane detection and tracking using B-Snake. Image Vision Comput., 2004，22

[5] Yue Wang，Dinggang Shen，Eam Khwang Teoh. Lane detection using spline model.  Pattern Ｒecognition Letters，2000，218

[6] Kluge K. Sridhar Lakshmanan，A Deformable-Template Approach to Lane Detection.  Proceedings of IEEE Intelligent Vehicles，1995

[7] Antonio Guiducci. Parametric Model of the Perspective Projection of a Road with Applications to Lane Keeping and 3D Road Reconstruction. Computer Vision and Image Understanding，1999，733

[8] Camillo J. Taylor，Jana Kosecká，Robert Blasi，Jitendra Malik. A Comparative Study of Vision-Based Lateral Control Strategies for Autonomous Highway Driving. I. J. Robotic Res., 1999，18

[9] Kluge K，Johnson G. Statistical characterization of the visual characteristics of painted lane markings.  Proceedings of IEEE Conference on Intelligent Transportation Systems，1995:488-493

[10] Enkelmann W，Struck G，Geisler J. ROMA - a system for model-based analysis of road markings. IEEE Proceedings of the Intelligent Vehicle ’95 Symposium，1995:356-360