3D視覺基礎(chǔ)（基本原理及3D傳感器基本參數(shù)）

taotao_2016 2021-06-25

展開全文

3D相機的工作原理

在傳統(tǒng)的2D視覺中，一套詳細的解決方案最基礎(chǔ)的是相機、鏡頭、和光源。根據(jù)客戶的需求以及現(xiàn)場的生產(chǎn)環(huán)境，通過一些公式計算出符合要求的相機和鏡頭，最后根據(jù)客戶的成本需求來選出最合適的相機加鏡頭。最后的光源是整套解決方案中比較難的一個點，要根據(jù)客戶所測物件的不同來選擇合適的光源，保證能夠清晰的成像。大家可以看出來，2D視覺對于工程師的要求比較高，要擁有豐富的項目經(jīng)驗，有一定的光學(xué)和軟件知識，而3D相機相對來說就要簡單一些。

一般3D相機都會集成在一個框架內(nèi)，不會像2D視覺系統(tǒng)那樣區(qū)分開來。這里我放一張基恩士最新型的一款3D激光輪廓儀給大家看一看：

基本上目前市面上的3D激光相機都是這個樣子，里面集成了激光發(fā)射器、鏡頭以及感光芯片。下面我們就來好好講一講3D相機的工作原理。

在3D相機中，取代光源的是激光發(fā)射器，通過復(fù)雜的光學(xué)系統(tǒng)設(shè)計，激光發(fā)射器發(fā)出的激光會形成一條直線，激光投射到物體表面就會形成反射，在光學(xué)系統(tǒng)的設(shè)計下，反射光會被鏡頭捕捉到，最后通過鏡頭反射到感光芯片上。因此，3D相機內(nèi)部最重要的三個部件分別為激光發(fā)射器，鏡頭和感光芯片，同時還會加一些FPGA或者ARM用于圖形處理，比如圖像算法以及圖像濾波。一般情況下，激光發(fā)射器需要優(yōu)秀的光學(xué)工程師進行設(shè)計，比如不同的透鏡反射出來的激光也會有不同的效果；鏡頭基本上也都是正常我們看見的鏡頭，感光芯片一般會選擇高精度的CMOS芯片。

一般我們把激光線方向稱為X方向，也就是激光照射出來的那條線定義為X軸，高度為Z方向，通過一次靜態(tài)拍照，我們可以得到X和Z兩個方向的數(shù)據(jù)，那么Y方向呢，我們一般把運動方向記為Y方向，也就是說。我們可以通過移動相機或者移動物體，并且讓相機持續(xù)不斷的拍照，就形成了連續(xù)的Y方向數(shù)據(jù)，最后組合在一起，就是我們所需要的3D數(shù)據(jù)了。

3D相機的測量原理

下面我們來了解一下3D激光相機的測距原理，我司采用的是激光三角測距法，一般工業(yè)領(lǐng)域都是普遍采用這個方法，因為激光三角測距法的精度比較高，抗干擾能力也很強，此外，還有很多的測距方法，主要分為兩個大類，分別是被動測量類和主動測量類。被動測量類分為單目視覺、雙目視覺和多目視覺；主動測量類分為結(jié)構(gòu)光法，TOF飛行時間法，激光三角測距法。TOF飛行時間法也是一種比較常見的3D光學(xué)測距方法，主要用于手機領(lǐng)域，比如手機的人臉識別，因為TOF飛行時間的測量范圍比較大，可以達到20米到30米，比較適合手機領(lǐng)域進行一些AR/VR交互。

激光三角測距法我就不細講了，因為網(wǎng)上的資料實在是太多了，直接百度搜索激光三角測距法原理即可。

3D相機中主要使用到的一些技術(shù)參數(shù)

在與客戶的接觸中，經(jīng)?？蛻魰稍円恍┯布?shù)問題，我發(fā)現(xiàn)網(wǎng)上關(guān)于3D視覺的資料真的少的可憐，所以好好整理了一番。

在2D視覺中，會有許多專業(yè)的術(shù)語名詞，比如視場，分辨率，重復(fù)精度等，3D視覺中也是如此。

在3D視覺中大致以以下術(shù)語：

1、視野范圍/視場(FOV)

是指在某一工作距離下傳感器激光線方向能掃到的最大寬度。在2D視覺中，視場一般是兩個值，即X方向*Y方向，而3D視覺只有一個值。一般情況下就是在傳感器最佳工作距離下激光線的長度，注意是在工作距離下的長度，畢竟激光發(fā)射出來形成一個光面，如果沒有遮擋理論上是無限長的。

此外，3D相機還分為近視場，中視場，遠視場。

2、測量范圍

傳感器的近視場到遠視場的距離。這個概念有點像2D視覺中的景深，即Z軸可清晰成像的范圍。

3、工作距離

傳感器下表面到被測物表面的距離。這里的傳感器指的就是相機，每臺相機的工作距離是不一樣的，一定要記住工作距離，不然選好了相機發(fā)現(xiàn)客戶現(xiàn)場的安裝高度達不到相機的工作距離要求，那么你前期的準備工作就全部浪費掉了。

4、分辨率

傳感器可以識別的最小尺寸。跟圖像傳感器一般是CMOS芯片的晶圓尺寸也就是感光元件有關(guān)系。

5、線性度

也叫準確度，直線度。一般指的是Z線性度，為偏差值（參考值與測量值的差值）與測量范圍的比值。

6、重復(fù)精度

也叫做重復(fù)性。是指將被測物重復(fù)掃描4100次后的最大偏差值。

7、垂直分辨率

能夠測量出的最小高度

8、水平分辨率

能夠測量的最小寬度

9、運動方向

在運動方向還有幾個術(shù)語如下：

線間距：反映傳感器接收到的觸發(fā)信號間隔。這個參數(shù)跟編碼器信號或者外部信號頻率有關(guān)系。比如假設(shè)一萬個脈沖走10毫米，那么信號間隔就為1微米。
掃描頻率(HZ)：單位時間內(nèi)傳感器能夠獲取的3D輪廓線數(shù)目，反映傳感器當(dāng)前配置下的處理極限。比如2K那就是一秒最多可以跑兩千條線。這個參數(shù)也是客戶經(jīng)常會問到的一個參數(shù)。一般情況下，掃描范圍越大，曝光時間越長，掃描頻率越低。這個參數(shù)還分為全幅掃描頻率和ROI掃描頻率。
公式：最大掃描速度=掃描頻率*線間距。假設(shè)我這里有一個相機掃描頻率為1000，線間距為1um，那么1秒他最快只能掃1mm，如果被測物體長1cm，那么我需要掃描至少10秒鐘才能將這個物體的長度掃出來。一般情況下，相機的最大掃描頻率是固定的，所以只能改動線間距，線間距和編碼器或者外部信號有關(guān)，也就是說，如果想加快掃描速度，那么只能加大編碼器的信號，也就是讓物體或者相機的移動速度變快。但是速度過快也可能導(dǎo)致缺少數(shù)據(jù)細節(jié)，導(dǎo)致某些缺陷沒有捕捉到。

下面這張圖就是對3D傳感器的一些參數(shù)的可視化，來自于某視覺公司的培訓(xùn)PPT。

下面我們來看一下基恩士的產(chǎn)品目錄中的參數(shù)列表：

對比前面的參數(shù)可視化圖，是不是覺得這些參數(shù)都比較容易理解了。

現(xiàn)在對于這些參數(shù)是不是一目了然。

將一些專業(yè)術(shù)語理解透徹，不僅在面對客戶時可以更加專業(yè)，也是為了可以在客戶現(xiàn)場更好的解決問題。

目前3D視覺有著2D視覺無法比擬的優(yōu)勢，但3D視覺同樣也有一些重難點需要解決。

比如如何知道一個物體能否被準確的掃描出來呢，測量是否成功取決于有多長時間可以用于測量。被測物體通過探頭光束的速度越慢，越多時間可以被用于測量。因此，不能簡單的認為一個靜態(tài)測量可行，就一定意味著動態(tài)測量也是可行的。測量的結(jié)果也取決于被測物體表面的反光特性。也就是說被測物體表面的反光性或吸光性的強弱，會決定是否可以測得有效信號。被測材料本身也會影響測量結(jié)果。舉例來講，如果半透明被測物體的透明度過高，測量信號可能完全失真了。最后一個應(yīng)該考慮的因素是被測物體的輪廓缺陷，可能產(chǎn)生陰影的輪廓以及多次反射的表面影響。以上這些基本因素都可能明顯影響測量信號質(zhì)量以及測量結(jié)果。

除去上面提到的這些影響因素，一個清晰可識別的輪廓表面反射的持續(xù)信號仍然可能是難以使用的缺損信號。如果想避免這種情況，輪廓儀的每一個獨立參數(shù)都必須正確設(shè)置并適合被測物體。使用正確的濾波器以及曝光時間的設(shè)定，往往能夠改善不良信號，經(jīng)過不斷嘗試最終可以完成測試。舉例來講，測量一個快速移動的黑色橡膠被測物體，較短的曝光時間和被測物體的高吸光性都會更容易導(dǎo)致一個不良的測量結(jié)果。而與之相反，如果黑色被測物體不移動或較慢移動，較長的曝光時間可能更有助于獲得完整的輪廓信息。但是這樣就會影響到檢測速度，各有利弊。

目前3D視覺在掃描透明物體比如玻璃的時候效果往往不佳，因為玻璃是可以直接讓激光透射過去的，導(dǎo)致CMOS芯片上難以成像，還有一個就是多重反射的問題，也會造成成像錯誤。

此外，3D視覺還會遇到一個視覺陰影問題，也就是處于相機掃描角度的原因，會出現(xiàn)視野盲區(qū)。

所幸是目前學(xué)術(shù)界對于計算機視覺和3D視覺很是熱衷，越來越多的新技術(shù)開始出現(xiàn)，開始彌補上述的缺點，據(jù)我所知，上述這些問題現(xiàn)在都已經(jīng)有看了可行且可以落地的結(jié)局方法，以上就是大致的總結(jié)。