以下文章來源于測繪學術資訊 ，作者國土資源遙感 汪雅,1, 曾志,2 1.浙江省測繪科學技術研究院,杭州 311110 2.惠州學院計算機科學與工程學院,惠州 516007 摘要近景傾斜攝影中存在航攝死角引起的三維模型結構粘連和失真問題,提出了一種傾斜攝影三維模型盲區(qū)自動修復技術。該技術基于大量近景影像,采用特征線匹配、點云匹配、紋理映射等影像處理技術填充傾斜攝影產(chǎn)生的盲區(qū),從而進一步優(yōu)化相應近地模型結構和紋理,實現(xiàn)精細化重構,解決了傾斜攝影模型難以近地瀏覽等問題。對比實驗表明,提出的方法對近景修正效果具有一定程度的改進,提高了傾斜攝影數(shù)字三維成像的可視化效果,為最終獲得高質(zhì)量、高精度三維實景模型提供參考與借鑒。0 引言傾斜攝影技術是測繪遙感領域近些年發(fā)展迅速的一項多視影像高效匹配技術,在大范圍、復雜地形地物建模領域具有廣闊的應用前景,能夠降低三維建模的成本,提高模型的生產(chǎn)效率。然而,作為一項發(fā)展較為成熟的近景攝影測量技術,vRTK是該領域新興的一款開拓性產(chǎn)品,相比于傳統(tǒng)的手持相機拍攝影像,其在拍攝期間,可利用 RTK 獲取每張曝光影像相對應的高精度位置、姿態(tài)信息,現(xiàn)場作業(yè)后無需再布設像控點。其拍攝的近地面和建筑物側面要素數(shù)據(jù)完整、細節(jié)清晰,是傾斜攝影獲取的影像數(shù)據(jù)的補測, 能夠很好地修復傾斜攝影在近地面和建筑物側面的數(shù)據(jù)失真現(xiàn)象。上述拍攝到的影像可用于測量地物的長度、面積、角度、高度、坡度等數(shù)據(jù),極大地方便了城市的三維建模。由于航攝俯視及下視45°拍攝方式的限制,影像獲取易受到航攝盲區(qū)以及匹配錯誤的影響,構建的三維模型場景僅適合于俯視或45°視角下進行瀏覽[1],若在地面或近地面仰視角度觀看,會發(fā)現(xiàn)由于“攝影盲區(qū)”引起的墻面不平整、屋檐和墻體連接部分結構粘連、白墻破洞、模型扭曲、紋理缺失等現(xiàn)象。以往主要通過空洞區(qū)模型導出[2]、邊界自動提取[3]、三角網(wǎng)重構的方法[4],以及基于特征線修復[5]等方法解決“攝影盲區(qū)”引起的模型失真問題,但上述方法由于目前采集技術的限制,影像數(shù)據(jù)從空中俯視拍攝,近地地物缺乏高精度的數(shù)據(jù)支持和匹配,導致地面低處、攝影盲區(qū)部分建模效果欠佳,存在三維模型結構和紋理失真等問題,整體三維模型表達不成熟[6,7]?？紤]到CNN網(wǎng)絡它的每個人工神經(jīng)元僅響應一部分覆蓋范圍內(nèi)周圍的單元,使得CNN 網(wǎng)絡在大型圖像處理中具有出色表現(xiàn)[8]。然而,在傾斜三維模型生產(chǎn)過程中,由于傾斜航攝存在航攝相機的拍攝盲區(qū)影像采集不全,易引起匹配點不足以及匹配錯誤等問題,可通過傾斜影像立面提取點云的方法實現(xiàn)匹配[9]。通常采用第三方軟件進行三維重構修正傾斜三維模型的不足,主要有2種方法: ①結構修正法,修復白墻破洞、水面高低不平和模型結構貫通,再導回自動建模軟件重新映射紋理; ②重建法,把需要修復的建筑物按底部高程踏平、地形掏空、在原地重構三維模型[10]。比較測試和分析表明,以上的結構修正法在修飾水面和白墻空洞等方面效果較好[11,12],但修飾三維模型的效果有限,重建法基本等同于傳統(tǒng)建模,工作量大,需要大量的人工作業(yè)成本,紋理如果不另外增加采集,后期映射結果仍較為模糊。本文針對航攝死角引起的三維模型結構粘連和失真問題,采用三維場景運算軟件,結合近景照片采用邊界自動提取、特征線檢測與匹配等修復技術,構建高精度的三維影像模型,解決了傾斜攝影模型難以近地瀏覽的問題,從而提高傾斜攝影數(shù)字三維成果的可視化效果,獲得高質(zhì)量、高精度的三維實景模型。1 傾斜攝影三維建模技術1.1 傾斜攝影測量傾斜攝影技術具有空中視角減少遮擋,以及城市實景三維表征的優(yōu)勢。此外,考慮到軟件架構的優(yōu)越性,數(shù)據(jù)以塊為單位生產(chǎn)和存儲,使得三維平臺系統(tǒng)容易實現(xiàn)可視域數(shù)據(jù)的精準調(diào)度,便于海量數(shù)據(jù)的快速加載和網(wǎng)絡發(fā)布。1.2 三維建模流程當前,三維數(shù)字城市建設大多使用Context Capture三維場景運算軟件,參照該軟件的傾斜三維建模流程,設計了如下三維建模步驟:1)影像采集和預處理。①影像采集,利用無人機搭載傾斜航攝系統(tǒng)飛到設計高度進行傾斜影像的連續(xù)采集,獲取規(guī)定區(qū)域內(nèi)超高分辨率的傾斜影像,傾斜影像要滿足批量自動建模的要求; ②影像預處理,影像質(zhì)量與三維場景的最終效果相關,影像預處理主要是色彩的調(diào)整,調(diào)色原則以寫實、靠近自然真彩色為基準,在盡量少損失實地色彩信息的基礎上,平衡整體圖像亮度、對比度、清晰度,統(tǒng)一圖像色調(diào); ③POS數(shù)據(jù)預處理,航飛解算后的POS數(shù)據(jù)按照固定格式整理,參與自動建模軟件計算。2)三維模型生產(chǎn)。①空三加密,依據(jù)光線直射原理,攝站透視中心、像空間、物空間的點形成共線關系。在攝站透視中心位置已知的情況下,2張或以上像片的光束互相交會。應用前方交會原理,可求得對應的地面點的空間坐標。空三加密基于上述攝影測量原理,利用影像采集過程中同步獲取的POS數(shù)據(jù)和有限個已知控制點的影像方和地物方坐標,確定區(qū)域內(nèi)所有影像的外方位元素,解求出未知點的絕對坐標; ②影像密集匹配,通過場景多視影像的獲取和空三處理,實現(xiàn)特征點提取和影像密集匹配,獲得同一空間參考系下用來表示目標空間分布和目標表面特性的海量點云,基于點云構建不規(guī)則三角網(wǎng),還原出場景真實的三維形狀; ③紋理映射,對三維場景的每個三角面片,從可映射的多視影像紋理圖像中,選擇最優(yōu)的紋理圖像進行映射; ④成果輸出,Context Capture軟件可輸出點云數(shù)據(jù)、三維模型數(shù)據(jù)、正射影像(digital orthophoto map,DOM)、真正射影像(true DOM,TDOM)和數(shù)字表面模型(digital surface model,DSM),其中,三維模型數(shù)據(jù)格式包括OSGB,S3C,OBJ等通用格式。2 傾斜攝影三維模型的自動修復方法一般地,當原模型的近地部分結構為不清晰、粘連或失真時,可采用大量的近景照片按照傾斜攝影自動建模的方法,完成新的三維場景的自動構建。因此,不需要保證影像尺度的一致。此外,構建三角網(wǎng)也不需要融合,僅需將空中拍攝的五鏡頭相機影像和近地影像通過同名點構建鏈接后,一起參與確定地物點的計算進行三角網(wǎng)構建,再疊加紋理最終形成三維目標場景。因此,實景三維模型空地數(shù)據(jù)聯(lián)合制作的修復方法為: 以無人機傾斜攝影系統(tǒng)獲取的數(shù)據(jù)作為實景三維建模的基礎數(shù)據(jù),利用 vRTK 影像測量儀采集建筑物底部及側面地面近景影像,通過影像定向后獲取后續(xù)聯(lián)合建模所需的成果包,其中基于近景攝影測量前方交會原理,經(jīng)過“刺點”后提取的特征點坐標用于傾斜影像空三解算的像控點,實現(xiàn)空地數(shù)據(jù)的坐標系統(tǒng)統(tǒng)一,然后聯(lián)合傾斜實景模型和地面 vRTK 數(shù)據(jù)進行建筑物模型自動精細化建模。以浙江省德清地信大會會址為例,為了獲取高精度三維實景地形實體模型,采用多旋翼電動無人機搭載ARC524航攝儀,按航高100 m,航向85%、旁向80%重疊度要求,采集五鏡頭影像數(shù)據(jù)。按設計的飛行參數(shù)獲取地物五鏡頭傾斜航攝影像,提交Context Capture軟件處理,自動匹配地物空間位置點,獲取的三維模型如圖1所示。
分析模型成果可知,在航攝及以上的高度和航攝傾斜角度觀察三維場景,可視效果非常好。如果視點下降到地面,會發(fā)現(xiàn)受遮擋部分的模型結構存在粘連、紋理失真,如圖2所示。
通過大量的實驗數(shù)據(jù)分析、方案設計和項目實踐,發(fā)現(xiàn)利用多角度近景照片可以自動修復模型失真,主要技術思路: 參考傾斜航攝三維建模原理,結構失真部分多角度高重疊度補充近景影像,在對初始模型的修復過程中,導入近景影像,獲取其外方位元素和相機參數(shù),通過人工輔助判讀,建立新增影像和初始模型的連接點,系統(tǒng)依據(jù)高精度影像匹配算法,自動匹配所有近景影像的同名點,提取新的結構點,從而高效完成模型自動精細化構建。2.1 近景影像的數(shù)據(jù)采集與配準2.1.1 近景影像采集 利用低空拍攝的近景影像對模型的失真部分進行自動精細化修正,主要原理是基于多源影像的聯(lián)合平差,多源影像包含高空采集的多鏡頭傾斜影像和低空拍攝的近景影像,近景影像能夠?qū)氐慕ㄖ锛毠?jié)進行有效補充。近地影像采集參考傾斜航攝原理,按照無縫掃描原則規(guī)劃移動掃描路線,同時設計近景影像采集的路線、角度、高度、相機水平和垂直方向攝影的重疊度,近地影像和初始模型的連接點選取需滿足二者都清晰易于判讀的線交位置,近景影像的采集軌跡如圖3所示。
圖3中,紅色圓圈是像控點,黃色部分是照片曝光點。每處空中像點是5張不同傾斜角度照片; 地面像點是3張分別取左45°、正視和右45°的照片,水平和豎直采集重疊度大于60%,空三運算的時候按照上下折線取連接點的方法,建立空三關系,實現(xiàn)高空攝影盲區(qū)部分照片的補充并完成模型修復。在近景攝影采集影像數(shù)據(jù)時,對于表面規(guī)則、平滑的物體,通常采用正直攝影方式,如遇到較大建筑物,可將大目標分解為若干個簡單目標進行拍攝; 對于體積較小或局部復雜表面,如建筑物拐角、門前臺階處,一般采用等距離交向攝影的方式。2.1.2 低空近景圖像與三維點云配準 主要配準流程如圖4所示。具體步驟如下: ①根據(jù)傾斜攝影采集到近景目標的多張攝影圖像,生成對應的金字塔影像,并基于金字塔影像進行多級SIFT特征提取與匹配,應用雙向匹配一致性約束進行反向匹配,根據(jù)匹配結果建立近景目標的影像模型; ②從三維點云數(shù)據(jù)和近景圖像中任意選取4對以上的控制點,基于所選控制點對近景影像模型進行光束法平差,實現(xiàn)對多張近景攝影圖像的粗定向; ③對粗定向完成后的近景圖像中第一張照片,分區(qū)域提取密集特征點,并以傾斜攝影三維點云深度圖像為約束,獲取每個特征點在相鄰的第二張近景圖像上的大概位置,然后再進行灰度匹配和深度圖像的最小二乘匹配,確定同名點,循環(huán)此過程,完成相鄰2張近景攝影圖像的同名點自動匹配; ④基于密集匹配結果得到較完整的點云數(shù)據(jù),生成實景三維模型。同時,基于影像點云對該三維模型與進行ICP循環(huán)迭代以實現(xiàn)高精度配準。2.2 實景三維模型自動修復技術點云數(shù)據(jù)通常會存在空洞,有些空洞反映了建筑物自身的缺陷,無需修改; 但是大多數(shù)情況下,需要對采集對象進行完整的描述,否則會給幾何建模工作帶來困難,因此,通過三角網(wǎng)算法判斷建立的三維模型包括如下步驟: ①通過三角網(wǎng)格模型遍歷查找傾斜攝影數(shù)據(jù)中的邊界邊; ②獲取每一條邊界邊的連接頂點,建立點集合; ③遍歷所述連接頂點,提取的閉合邊界集合; ④判斷所述閉合環(huán)路是否為空洞,若所述閉合環(huán)路為空洞,則需對所述空洞進行空洞修復。具體效果如圖5所示。 2.2.1 特征線的檢測與匹配 2.2.2 自動修正流程 當傾斜三維模型所有像控點導入完成后,在影像上選點、標記,準確標示出刺點位置,集成了傾斜攝影、地面近景影像、空三成果之后,利用點云三維模型和空三成果的內(nèi)在聯(lián)系,在傾斜攝影實景建模軟件系統(tǒng)中新建項目工程,導入整理完成的POS數(shù)據(jù)表格,由于受計算機硬件限制,無法一次性處理大面積測區(qū)的所有影像,需對測區(qū)進行分區(qū)塊操作,以8 000~10 000張影像為一個子區(qū)塊,以子區(qū)塊為基本單元,對傾斜影像數(shù)據(jù)進行空三加密、模型構建、補漏和貼圖、重構檢查等過程,最后進行整理提交,具體流程如圖7所示。
2.2.3 傾斜三維模型圖像映射處理 在五鏡頭相機采集到大量傾斜攝影照片中,同一個建筑物往往會在多幅影像中可見,可視角度、受遮擋情況都是不同的,應選取清晰度最高,受遮擋最小的原始影像作為紋理映射數(shù)據(jù),選擇準則為: ①同一采集平面在2幅或2幅以上備選照片中均完全可視時則選擇成像角度最好的照片; ②同一采集平面僅有一幅照片可視時則以該影像進行紋理采集; ③同一采集平面在所有備選照片中都有遮擋時,則優(yōu)先選擇區(qū)域紋理遮擋最小的影像; ④同一采集平面沒有備選照片時可通過相似平面,面紋理或者地面近景攝影的方式補漏。本文選擇視角法,假設建筑物的表面法向量為N,計算傾斜攝影視點方向M與法向量之間的夾角a,并比較每幅圖像所求出的夾角,選擇夾角最小的圖像。將夾角最小的紋理圖像賦給建筑物側表面,實現(xiàn)自動貼圖。通過利用優(yōu)化選擇后的傾斜影像和加密點,進行三維模型的特征紋理提取、定向和建模。基于與近景影像配準后的三維點云數(shù)據(jù),本研究引入Gabor濾波進行影像紋理的噪聲濾除,因為每個Gabor濾波器只能允許與其頻率對應的紋理通過,能夠抑制不同紋理的能量[9],進而從輸出結果中提取和分離紋理特征,用于后期的圖像分類、分割、合成等任務。采取上述方法自動快捷的提取紋理特征,進行映射處理,可以節(jié)省大量人工和時間。另外,系統(tǒng)能夠通過同名點屬性將多張近景影像和點云數(shù)據(jù)進行自動匹配和對比,選擇變形小、傾斜糾正少的影像提取紋理特征并映射; 在空三校正處理后的影像上繪制地物目標的特征線,通過矢量拉伸、平移、旋轉(zhuǎn)等方法制作三維實體模型并根據(jù)采集到的低空近景影像進行物體表面色彩紋理貼圖,最后形成真實場景三維模型。與未修復前(圖2)相比,修復后建筑物的側面邊界更明顯,如圖8所示。
3 應用實例三維模型以匹配點點云構建不規(guī)則三角網(wǎng)為表達方式,更準確的匹配點構筑的三維模型更具真實性?？紤]到無人機的安全飛行要求、影像的像點位移和后期數(shù)據(jù)處理量,飛行速度不宜過快、航飛高度不宜過低,航向旁向重疊度不宜無限制增加,補充近景影像參與計算和模型修正實現(xiàn)了快速自動化無痕修復三維模型。 本研究旨在為傾斜攝影近地模型的精細化重構提供一種有效的方法,在德清地信大會會址試驗成功的基礎上,通過嘉善傾斜三維工程應用項目進行了驗證,如圖9所示,實現(xiàn)了中國銀行等建筑物的精確修復效果,另外還實現(xiàn)了古街道路兩旁被樹冠遮擋區(qū)域的精細化自動修復。 
試驗以德清、烏鎮(zhèn)三維重構項目進行比較,發(fā)現(xiàn)采用本文自動精細模型重構方法與傳統(tǒng)人工方法相比,傳統(tǒng)人工方法建造一個復雜建筑物建模時間需2.5 d,貼圖制作及貼圖共2 d,但是采用自動建模方式,近景數(shù)據(jù)采集0.5 d,刺點0.25 d,重新建模型1.5~2 d,效率提高了一倍。所需的人力成本是后者的1/3~1/5,最主要是實現(xiàn)了精細部分結構和原生模型的無痕鑲嵌,使三維場景經(jīng)得起任何角度的瀏覽展示。 4 結論與展望傾斜攝影作為前沿技術,它更加接近于人們對場景的感知,在三維建模技術領域有廣泛的前景,許多應用都利用了機載傾斜攝影的優(yōu)勢,同時也為數(shù)據(jù)管理和處理提供了挑戰(zhàn),諸如整合三維地質(zhì)數(shù)據(jù),生成三維LOD模型、三維紋理分割、基于語義的城市三維模型等。從本文的研究角度出發(fā),目前相關研究集中于得到更精確、完整的傾斜攝影三維模型,在一些復雜場景圖像修復中,由于三維點云數(shù)據(jù)量較大,不易管理,在大量數(shù)據(jù)存儲、管理以及模型修復、重構的效率方面還有待于進一步的研究和改善,從而可以推動傾斜攝影三維自動修復技術的實際應用,進一步豐富數(shù)字圖像修復技術。 | 基金資助:惠州市科技計劃項目“基于機器視覺的智能檢測應用與示范”(2017ZX040);惠州學院科研創(chuàng)新團隊培養(yǎng)項目“基于高應變測法惠州地區(qū)樁基承載力研究”共同資助(HZU201710) | | 通訊作者: 曾志 | | 作者簡介: 汪 雅(1973-),女,碩士,高級工程師,主要研究方向為不動產(chǎn)、國土調(diào)查、三維數(shù)字城市和攝影測量。Email: wangya@zjccs.gov.cn。 |
| 引用本文: | 汪雅, 曾志. 一種近景傾斜攝影的三維建模盲區(qū)自動修復技術[J]. 國土資源遙感, 2021, 33(1): 72-77.
WANG Ya, ZENG Zhi. An automatic repairing technology of 3D model for blind area in oblique photography based on close range image. Remote Sensing for Land & Resources, 2021, 33(1): 72-77. |
|
