基於全景圖的虛擬現實系統研究

摘要  全景圖(Panoramic Image)是近來出現在Internet上的另一種新的互動式的虛擬場景表示方式,它基於影象繪製IBR（Image-Based Render）的方式再現了三維場景,可用瀏覽器實現虛擬場景的漫遊,同時也詳細介紹了這種全景圖瀏覽器的實現原理。本文在總結已有技術的基礎上，提出一個基於全景圖的虛擬現實系統模型，並改進演算法實現了高效的拼接。關鍵詞  全景圖; 基於影象繪製IBR; 虛擬現實; 影象拼接 1  概述全景圖是基於圖形繪製IBR（Image-Based Render）的關鍵技術。現有的IBR技術大概可以分為四類：基於全景圖（Panoramic Image）的方法，基於影象深度資訊的方法，基於光場（Light Field）資訊和基於 Morphing的方法。現階段，相對成熟的技術是第一種基於全景圖的方法 ,而且它實現方便處理量易於在Internet實現。目前，業界對全景圖的基本製作方法是：在固定的視點用照相機或者攝像機按照一定的方式（通常是按照均勻角度繞軸旋轉360 度）採集影象，採集之後的影象輸入計算機進行影象拼接、整合等處理，生成無縫全景影象，最後再用計算機經過投影展示出來，並且提供區域性的有限的漫遊功能。雖然全景檢視有其自身的侷限性，比如視點單一，只能在場景內部實現漫遊等，但是由於該技術具有極強的可操作性，而且技術也相對成熟，已經成為應用最為普遍的IBR技術之一。目前全景檢視主要應用在：虛擬環境、遊戲設計、電影特技效果、虛擬博物館等等。在商用領域比較著名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系統。2  全景圖的製作流程全景圖製作流程包括全景模型選擇，影象採集，影象拼接，影象縫合以及全景圖展示瀏覽五個步驟 ，如圖1。（1）全景模型選擇：根據全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模式。這三種模式就是分別把已經拼接好的全景圖投影到立方體/ 圓柱體/球體的內表面。此外還有其他展示模式，如採用正多面體去逼近球面的方法。（2）影象採集：一般有兩種方法，用全景拍攝器材進行拍攝或者通過普通相機拍攝再進行影象拼接。前一種方式比較容易採集影象，但是這種方法往往意味著購買昂貴的攝影器材，因此影響了其通用性。而後一種方式，用普通相機在固定點拍攝圖片然後拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術——影象拼接演算法正是研究的重點。（3）影象拼接與縫合：現有的全景影象拼接生成演算法主要可以分為三類：基於特徵的方法、基於流的方法和基於相位相關的方法。在得到拼接好的影象後，還需要對影象重疊部分進行處理，以實現影象的無縫拼接。目前經常採用的一種簡單的影象縫合技術就是線性插值法（Linear Interpolation）。（4）全景圖展示：得到360度的全景影象後，還要把該影象投影到所選擇模型的內表面展示，並提供簡單的瀏覽功能。

（5）運動物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機拍攝物體時，如果對物體的`水平方向和垂直方向各拍攝一圈，就可以對物體進行二維的互動控制。連結是指：①把得到的全景圖按一定方式組織起來，供互動式顯示用；② 把運動物體嵌入到全景圖中去，成為“熱點”，使使用者可以對它進行互動式控制。

                            圖１　全景圖製作流程3  全景影象拼接技術的研究3.1全景圖生成的經典演算法自全景圖的概念提出到目前，有很多學者都對全景圖的生成演算法做過深入的研究，其中McMillan和Szeliski等人的工作尤其突出。 McMillan和Bishop提出了全景函式模型，該演算法根據攝像機繞軸旋轉360度所拍攝的影象序列求解每個相機的引數，由此進行全景圖拼接，但是該演算法不太適合於照相機，因為它要求兩幅影象之間要有超過2/3 的重疊，這樣對一個場景如用照相機去採集影象就需要拍攝大量的圖片，而這顯然增大了影象採集的難度，也增加了計算量和誤差量。而且McMillan試圖通過柱面極幾何約束實現匹配點自動匹配，但是極幾何約束核心基礎矩陣對誤差過分敏感，也因此導致匹配結果無法實用。Szeliski和Shum[3]在他們的一系列的文章中提出了用8引數的二維（2D）投影模型求解投影矩陣M。該模型的數學表達如下所示：                                        (1)                                                          （2）3.2全景影象拼接演算法歸類及其比較    現有的全景影象拼接生成演算法主要可以分為三類：基於相位的方法、基於流的方法和基於特徵的方法。   （1）基於相位的方法：該方法利用傅立葉變換、小波變換等等先對影象進行變換，再利用變換後的影象的某些特徵進行匹配。但是如果存在空間上的區域性變化，就會導致該方法產生較大誤差。     （2）基於流的方法：也叫做基於面積的方法。該方法是通過比較兩幅影象亮度（或顏色）差異，並使之最小化來尋找最佳匹配點的。上文描述的兩種經典演算法就是屬於該方法，採用這種方法的還有：Duffin [4]和Barrett在Szeliski研究的基礎上提出的一種恢復6個引數模型的演算法。基於面積方法的缺點就是它的計算量明顯偏大。   （3）基於特徵的方法：該方法的主要思想就是從一幅影象中提取一定的特徵，如：點、線、邊緣等等，並用此特徵為匹配模板，在第二幅影象中搜索。該方法可以提高計算速度，但是提取合適的影象特徵比較困難。[5]