2015年1月22日,微軟向全世界發(fā)布了其應用增強現(xiàn)實技術的新產品—— 全息透鏡(Microsoft HoloLens),引發(fā)了全球科技愛好者們掀起一場新的狂歡。近兩年來,運用增強現(xiàn)實技術的產品越來越讓人驚艷:可穿戴設備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)等,增強現(xiàn)實可以發(fā)揮作用的舞臺越來越大。雖然增強現(xiàn)實技術還處在成長期,但其實早已有許多專注于增強現(xiàn)實領域的公司深耕于此,如索尼早在 1994 年就在二維碼的基礎上開始了增強現(xiàn)實技術的研發(fā),推出“Smart AR”智能增強現(xiàn)實技術,并成功用于電子游戲和手機攝像頭。目前,國內已有幾家安防廠商將增強現(xiàn)實技術應用于視頻監(jiān)控攝像。
從虛擬現(xiàn)實到增強現(xiàn)實
增強現(xiàn)實技術(AR)就是根據(jù)當前位置(GPS),和視野朝向(指南針)及手機朝向(方向傳感器/陀螺儀),在實景中(攝像頭)投射出相關信息并在顯示設備(屏幕)里展示。其實現(xiàn)的重點在于投影矩陣的獲取。
技術的發(fā)展不是突進的,而是漸進式發(fā)展。增強現(xiàn)實技術離不開虛擬現(xiàn)實技術(VR)。虛擬現(xiàn)實技術是采用以計算機技術為核心的技術,生成逼真的視、聽、觸覺等一體化的虛擬環(huán)境,用戶借助必要的設備以自然的方式與虛擬世界中的物體進行交互,相互影響,從而產生親臨真實環(huán)境的感受和體驗。典型的VR 系統(tǒng)主要由計算機、應用軟件系統(tǒng)、輸入輸出設備、用戶和數(shù)據(jù)庫等組成。計算機負責虛擬世界的生成和人機交互的實現(xiàn);輸入輸出設備負責識別用戶各種形式的輸入并實時生成相應的反饋信息;應用軟件系統(tǒng)負責虛擬世界中物體的幾何模型、物理模型、行為模型的建立,三維虛擬立體聲的生成,模型管理及實時顯示等;數(shù)據(jù)庫主要用于存放整個虛擬世界中所有物體的各個方面的信息。
虛擬現(xiàn)實技術與三維動畫技術的本質區(qū)別在于其交互性上。三維動畫技術是依靠計算機預先處理好的路徑上所能看見的靜止照片連續(xù)播放而形成的,不具有任何交互性,即不是用戶想看什么地方就能看到什么地方,用戶只能按照設計師預先固定好的一條線路去看某些場景,用戶是被動的;而VR 技術則通過計算機實時計算場景,根據(jù)用戶的需要把整個空間中所有的信息真實地提供給用戶,用戶可依自己的路線行走,計算機會產生相應的場景,真正做到“想得到,就看得到”。根據(jù)VR技術對沉浸程度的高低和交互程度的不同,將VR系統(tǒng)劃分了4種類型:沉浸式VR 系統(tǒng)、桌面式VR系統(tǒng)、增強式VR 系統(tǒng)、分布式VR 系統(tǒng)。
而增強式VR 系統(tǒng)簡稱增強現(xiàn)實(Augmented Reality),它既允許用戶看到真實世界,同時也能看到疊加在真實世界上的虛擬對象,它是把真實環(huán)境和虛擬環(huán)境結合起來的一種系統(tǒng)。AR中真實物體和虛擬物體與用戶環(huán)境必須無縫結合在一起,而且真實物體和虛擬物體之間還要能夠進行交互,這樣才能實現(xiàn)真正的虛實融合。因此增強現(xiàn)實系統(tǒng)具有虛實結合、實時交互、三維定向的新特點。
增強現(xiàn)實系統(tǒng)的構成
一個增強現(xiàn)實系統(tǒng)需要有顯示技術、跟蹤和定位技術、界面和可視化技術、標定技術構成。
跟蹤和定位技術與標定技術共同完成對位置與方位的檢測,并將數(shù)據(jù)報告給AR 系統(tǒng),實現(xiàn)被跟蹤對象在真實世界里的坐標與虛擬世界中的坐標統(tǒng)一,達到讓虛擬物體與用戶環(huán)境無縫結合的目標。
為了生成準確定位,增強現(xiàn)實系統(tǒng)需要進行大量的標定,測量值包括攝像機參數(shù)、視域范圍、傳感器的偏移、對象定位以及變形等。
以智能手機為例,增強現(xiàn)實就是根據(jù)當前位置(GPS),和視野朝向(指南針)及手機朝向(方向傳感器/陀螺儀),在實景中(攝像頭)投射出相關信息并在顯示設備(屏幕)里展示。其實現(xiàn)的重點在于投影矩陣的獲取。當然,在實際開發(fā)的時候其實android系統(tǒng)已經(jīng)將投影矩陣封裝的比較好了,可以通過接口直接獲取投影矩陣,然后將相關的坐標轉換算成相應的坐標就可以了。
移動增強現(xiàn)實系統(tǒng)應實時跟蹤手機在真實場景中的位置及姿態(tài),并根據(jù)這些信息計算出虛擬物體在攝像機中的坐標,實現(xiàn)虛擬物體畫面與真實場景畫面精準匹配,所以,registration(即手機的空間位置和姿態(tài))的性能是增強現(xiàn)實的關鍵。
對固定攝像機的增強現(xiàn)實系統(tǒng),主要由圖像采集系統(tǒng)和觀察顯示系統(tǒng)合在一起構成了望遠筒式結構,體積相對龐大。為了減小系統(tǒng)的體積和重量,在設計中將這兩部分分離,攝像機系統(tǒng)仍然通過支架固定,而觀察系統(tǒng)改為手持式設備或者頭盔顯示器,這樣就省去了望遠筒結構中的系統(tǒng)連接部分和支撐部分,支架承受的重量也會大大減少。由于改用了較為輕便的結構,整套系統(tǒng)的維護和使用更加方便。在系統(tǒng)中采用雙攝像機拍攝真實場景,并結合虛擬模型的立體成像實現(xiàn)了立體視覺的增強現(xiàn)實效果,使系統(tǒng)的實用性得到大幅提升,非常適用于在安防監(jiān)控中使用。
安防監(jiān)控中增強現(xiàn)實系統(tǒng)的硬件和軟件
通過使用電機結構來調節(jié)攝像機的角度,同時使用可以固定在用戶頭部的跟蹤器才能實時測量觀察者的頭部運動。
硬件系統(tǒng)
計算機。計算機是整個系統(tǒng)的大腦,所有的圖像、數(shù)據(jù)最后都會被匯總到這里,因此計算機需要進行大量的運算,包括慣性跟蹤器測量結果的處理,隨動電機平臺的控制,虛擬世界的建立,虛擬攝像機的控制,立體圖像的生成,增強現(xiàn)實效果的實現(xiàn),等等。
頭盔式顯示器。頭盔式顯示器是系統(tǒng)的顯示輸出設備,計算機常渲染后的帶有立體視覺的增強現(xiàn)實圖像會被輸出到它上面供用戶觀察,因此頭盔式顯示器也是系統(tǒng)中和觀察者具有最直接聯(lián)系的設備,用戶沉浸感的實現(xiàn)在很大程度上取決于頭盔顯示器的成像質量和配帶感覺上,而不是計算機渲染出的增強現(xiàn)實效果。所以頭盔式顯示器在保證輸出圖像沒有畸變的前提下,整體的體積越輕薄越好。
慣性跟蹤器。用來測量觀測者的頭部運動情況并實時將數(shù)據(jù)發(fā)送給計算機。為了實現(xiàn)各個設備以及虛實攝像機之間的匹配,所有設備公用慣性跟蹤器的測量結果,因此慣性跟蹤器相當于系統(tǒng)中的主控元件,其精度直接影響整套系統(tǒng)的精度。
隨動電機平臺。該平臺完成系統(tǒng)的真實場景采集任務,由雙攝像機系統(tǒng)、隨動平臺以及驅動電機組成。雙攝像機系統(tǒng)固定在隨動平臺上,與隨動平臺保持相對固定,驅動電機控制平臺轉動。計算機獲得觀察者的頭部運動數(shù)據(jù)后,經(jīng)過分析計算出攝像機系統(tǒng)需要拍攝的方向并發(fā)送信號給電機,電機根據(jù)計算機的要求驅動隨動平臺轉動,從而帶動攝像機系統(tǒng)改變圖像采集方向。
軟件系統(tǒng)
計算機作為系統(tǒng)的數(shù)據(jù)處理中心,在處理相關數(shù)據(jù)后,計算出電機的轉動速度和距離,發(fā)送控制信號給平臺,驅動平臺上的真實攝像機改變拍攝方向。
與此同時,隨動平臺將其當前位置反饋給計算機,作為計算機下一次計算的參考量,從而形成閉環(huán)控制。
為了使最后的虛實圖像能夠匹配,計算機在控制隨動電機平臺的同時還需要對虛擬計算機的位置進行調節(jié),使虛實計算機的拍攝角度始終保持一致。對于計算機系統(tǒng)來說,每一幀圖像都被傳送給計算機,這些圖像經(jīng)過渲染與融合后生成增強現(xiàn)實的立體圖像,并被輸出到頭盔顯示器上供用戶觀看。
在上述過程中,軟件系統(tǒng)所要完成的任務,可以分為離線和實時兩個階段。在離線階段需要對真實攝像機進行標定,同時計算頭盔式顯示器的畸變,生成畸變校正貼圖。
對真實攝像機進行標定是為建立虛擬世界、設置虛擬景物服務的。繪制畸變校正圖像主要是用來調整需要顯示到頭盔顯示器上的圖像,使它們在顯示前產生桶形畸變,這樣在經(jīng)過頭盔顯示器的枕形畸變后,又會恢復到正常比例提供給用戶觀看。而且,在得到畸變校正貼圖后,就可以將圖像修正的工作放到GPU中進行,從而能在很大程度上減輕CPU的負擔,提高系統(tǒng)的速度。
在系統(tǒng)實時運行過程中,一方面需要跟蹤用戶的頭部運動,調整虛實攝像機的拍攝方向,另一方面需要采集虛實攝像機的圖像,進行渲染和圖像融合,最后輸出供用戶觀看的圖像。這兩部分的軟件相對獨立,因此在不同的線程中進行。
結束語
目前增強現(xiàn)實還未普及和規(guī)?;l(fā)展,但其應用范圍已經(jīng)越來越廣,從工業(yè)領域逐漸延伸到了醫(yī)療、娛樂、互動和游戲等諸多方面,特別受到了廣告?zhèn)髅叫袠I(yè)的熱捧,未來發(fā)展空間極大。而隨著技術、內容和應用場景的有效融合,以及硬件性能的發(fā)展和可穿戴設備的崛起,增強現(xiàn)實技術在安防監(jiān)控中將發(fā)揮出極大的作用。
(審核編輯: 智匯張瑜)
分享