1現實技術案例

作者——張文龍　賀　申

虛擬現實(Virtual Reality,簡稱VR)技術是近年來最熱門的研究領域之一,有著巨大的發展潛力和廣泛的應用前景,受到各界、尤其是軍方的青睞。

虛擬現實是一種虛擬的沉浸式交互環境,具體地說,就是採用以計算機技術為核心的現代高科技生成逼真的視、聽、觸覺一體化的特定範圍的虛擬環境,用戶藉助必要的設備以自然的方式與虛擬環境中的對象進行交互作用、相互影響,從而產生「沉浸」於等同真實環境的感受和體驗。VR帶來了人機交互的新概念、新內容、新方式和新方法,使人機交互的內容更加豐富、形象,方式更加自然、和諧。

手是人與外界進行物理接觸及意識表達的主要媒介。當人與計算機控制系統進行交互操作時,傳統的輸入輸出介面設備,如鍵盤、滑鼠等只能限制手在桌面上或一個小區域內進行簡單的運動控制,而表達意識的大多數手的自然運動被犧牲了,妨礙了人們對系統控制意識表達的全面性與靈活性。數據手套可以跟蹤操作者靈活多變的手勢及空間方位,使操作者自然而然地將自己的意識傳送至計算機。因此數據手套作為一種重要的人機交互介面,廣泛地應用於虛擬現實的研究領域中。

本文分析了幾種不同的數據手套性能,並進一步闡述作者在數據手套研製方面所做的工作。

1　虛擬現實簡介

1. 1　虛擬現實的基本構成及其分類

在虛擬的現實中,人們利用頭盔顯示器、圖形眼鏡、數據服、立體聲耳機、數據手套及腳踏板等多維輸入輸出設備通過感測器裝置與計算機生成的三維虛擬環境交互作用,可獲得視覺、聽覺、觸覺等多種感知反饋,並按照自己的意願去實時地改變虛擬環境。

虛擬現實系統構成模型如圖1所示。

虛擬現實系統中包括人件(HumanWare) 、媒體件(MediaWare) 、數據件(DataWare)和網路件(NetworkWare) 4部分。

人是虛擬現實系統的「核心」,人能與虛擬世界對話,體驗虛擬世界的臨境感,人的參與使虛擬現實更為重要。

媒體件將從聽覺、視覺和觸覺得到的信息加以綜合,並以和諧的形式進行反饋處理。

數據件和網路件是指在虛擬現實中需要進行雙向會話和數據交流,必須依賴面向對象的資料庫和網路通訊等基礎設施。

虛擬現實系統按其功能高低大體分為4類:

一是桌面虛擬現實系統,也稱窗口中的VR。它主要在台式計算機上實現,所以成本低,功能也最簡單,主要用於CAD、CAM、建築設計、桌面遊戲等領域。

二是沉浸虛擬現實系統,如各種用途的體驗器,使人有身臨其境的感覺,各種培訓、演示以及高級遊戲等用途均可用這種系統。

三是分散式虛擬現實系統,它在網際網路環境下,充分利用分布於各地的資源,協同開發各種虛擬現實的利用。它通常是沉浸虛擬現實系統的發展,也就是把分布於不同地方的沉浸虛擬現實系統,通過網際網路連接起來,共同實現某種用途。美國大型軍用交互模擬系統NPSNET以及網際網路上多人遊戲MUD便是這類系統。

四是增強現實或混合現實系統。它是把真實環境和虛擬環境結合起來的一種系統,既可減少構成複雜真實環境的開銷,又可對實際物體進行操作,真正達到了亦真亦幻的境界,是今後的發展方向之一。

1. 2　虛擬現實的主要特徵和關鍵技術

總的來說,虛擬現實具備以下主要特徵:

(1)投入性

投入性是虛擬現實最主要的技術特徵。要讓用戶覺得自己是虛擬環境中的一部分,而不是旁觀者,力圖使用戶在計算機所創建的三維虛擬環境中處於一種「全身心投入」的狀態,有身臨其境的感覺,即所謂的「沉浸感」。正是這種「沉浸感」特性使虛擬現實與一般的互動式三維計算機圖形有較大的不同,用戶可以暫時與現實環境隔離,沉浸於數據空間、從數據空間向外觀察,以更自然、更直接的方式與數據交互,從而能真實地注視數據。理想的虛擬環境應該達到使用戶難以分辨真假的程度(例如可視場景應隨著視點的變化而變化) ,甚至超越真實,如實現比現實更逼真的照明和音響效果等。

(2)交互性

交互性是人機和諧的關鍵因素。指用戶通過使用專用設備,用人類的自然技能實現對模擬環境的考察和操作的程度,即用戶與虛擬場景中各種對象相互作用的能力,包含對象的可操作程度及用戶從環境中得到反饋的自然程度(包括時實性) 。虛擬場景中,對象應正確地模擬物理、化學等自然界應遵守的定理。

(3)構想性

虛擬現實不僅僅是一個用戶與終端的介面,用戶還可以沉浸在多維信息空間中,依靠自己的感知和認知能力全方位地從環境中獲取新的知識,提高感性和理性認識,產生新的構想。若將構想結果再次輸入到系統中,處理結果可實時顯示或由感受裝置反饋給用戶,如此反覆,形成一個學習—創造—再學習—再創造的過程,因而,虛擬現實能啟發人的創造性思維。伴隨網路技術的發展,或許今後通過虛擬現實技術學習的可以是一台機器,它具有極強的數據處理能力及認知能力,通過對虛擬現實環境的訪問,將獲取的知識加入自己的知識庫,並控制下一步動作。

虛擬現實是多種技術的綜合,其關鍵技術包括以下幾個方面:

(1)動態環境建模技術

虛擬環境的建立是虛擬現實技術的核心內容。動態環境建模技術的目的是獲取實際環境的三維數據,並根據應用的需要,利用獲取的三維數據建立相應的虛擬環境模型,以求有真實感。三維數據的獲取可以採用CAD 技術(有規則的環境) ,而更多的環境則需要採用非接觸式的視覺建模技術,兩者的有機結合可以有效地提高數據獲取的效率。

(2)實時三維圖形系統和虛擬現實交互技術

利用實時三維圖形系統,可以生成有逼真感的圖形,圖像具有三維全彩色、明暗、紋理和陰影等特徵。虛擬現實是一種互動式和先進的計算機顯示技術,雙向對話是它的一種重要工作方式,為虛擬環境提供了一種新的人機介面。

(3)感測器技術

虛擬現實的交互能力,例如,顯示以及拾取技術,均依賴於感測器技術的發展。而現有的感測器的精度還遠遠不能滿足系統的需要。例如,數據手套的專用感測器就存在工作頻帶窄、解析度低、作用範圍小、使用不便等缺陷,因而尋找和製作新型、高質量的感測器變成了該領域的首要問題。

(4)開發和系統集成技術工具

虛擬現實應用的關鍵是尋找合適的場合和對象,即如何發揮想像力和創造力。選擇適當的應用對象可以大幅度地提高生產效率、減輕勞動強度、提高產品開發質量。為了達到這一目的,必須研究虛擬現實的開發工具。例如,虛擬現實系統開發平台、分散式虛擬現實技術等。

由於虛擬現實中包括大量的感知信息和模型,因此系統的集成技術起著至關重要的作用。集成技術包括信息的同步技術、模型的標定技術、數據轉換技術、數據管理模型、識別和合成技術等等。

2　數據手套

2. 1　數據手套實現的一般基理

數據手套是虛擬現實系統的重要組成部分,是一種通用的人機介面,其直接目的在於實時獲取人手的動作姿態,以便在虛擬環境中再現人手動作,達到理想的人機交互目的。

數據手套實現的關鍵在於手掌、手指及手腕的各個有效部位的彎曲、外展等測量以及在此基礎上的姿態的反演。完成反演主要取決於人體手部姿態的建模,最根本的就是,確定感測器測量數據和手部各關節運動姿態的對應關係。

對一個具體的數據手套應用過程,可設由手部各彎角組成的向量f = ( f1 , f2 , ?, fn )與對應感測器示數組成的向量d = ( d1 , d2 , ?, dn ) 。顯然f和d之間存在著強耦合的映射關係。數據手套的實現即是根據示數向量d, 找出原映射關係的逆映射,從而反演出手部各部位的姿態。

手部軟組織的存在,是人手和機械手區別的主要差異,使得人手無法和普通的剛性桿鉸鏈相比,這就加大了問題求解的複雜性。手部某一關節的運動,不僅會作用於對應的感測器的示數發生變化,而且通過軟組織的相互作用,使其他的感測器示數也發生變化。如果要求保證一定的精度,必須對求得的逆映射進行解耦計算。

由於數據手套的感測器數目較多,而且響應的標定和解耦計算十分複雜,進行實時處理時困難較大,因此,目前數據手套的發展與應用只是處於初級階段,還不十分成熟。

2. 2　目前各種數據手套的比較

國內外許多研究單位和公司在數據手套的研製開發方面做了大量的工作,並推出了一些採用不同感測器的數據手套產品,得到較成功的應用。下面分析幾個主要產品的各項性能指標。

(1) Dataglove (已註冊商標)是VPL 公司於20世紀90年代推出的最早的數據手套,以模型4(根據手套模型的自由度區分手套型號)為例說明:

手套本體材料:氯丁二烯橡膠布。

感測器:專利技術「光纖彎曲感測器」。

自由度(DOF) :手指關節的彎曲和外展、大拇指的複雜動作。

空間定位:根據應用場合可選擇三維空間的單獨跟蹤、快速跟蹤或其他跟蹤系統。

測量精度: < 5°。

最大採樣頻率: 160 Hz。

介面: RS232,最高波特率115. 2 kbp s。

應用情況:被設計適用於VR的醫學應用,能作為功能評估、擊打損傷恢復、生物工程、運動生理等輸入設備。

評價:專利感測器技術,結構緊湊,佩戴舒適,輕便易用;採用桌面控制模塊,能同時支持系4副手套;但是容易受用戶手尺大小影響,應用過程中需要重新校正(防止手套與手指之間滑動帶來的誤差) ,另外光纖的疲勞問題(光纖使用時間過長導致精度下降或折斷)也值得注意。

(2) Cyberglove是Virtual Technologies公司於1991年推出的。

手套本體材料:彈性纖維,可拉伸,尺寸固定。

感測器:專利技術「壓電感測器」。

自由度(DOF) :手指關節的彎曲和外展、大拇指、手掌彎曲、手腕的彎曲和外展。

空間定位:手腕處可安裝六自由度跟蹤器。

測量精度: 0. 5°。

最大採樣頻率: 112 Hz。

介面: RS232,最高波特率115. 2 kbp s。

應用情況:可用於是虛擬現實、遙控機器人、醫學、CAD、手語識別、視頻遊戲、音樂生成、手功能分析等。

評價:質地很輕,佩戴舒適,手掌處成網狀易於通風,指尖露出,便於用戶抓取、寫字等;專利「壓電感測器」具有良好的線性和強健性,體型細小、柔軟,對彎曲基本無阻力,受安裝位置和手指的彎曲曲率半徑影響很小,保證感測器準確可重複地測量手部運動,並對所有用戶校正標準一致。

(3) Dataglove是5DT公司於1995年推出的數據手套系列(以5DTDataglove5為例) 。

手套本體材料:彈性纖維,手套尺寸固定,適用面廣,分左右手。

感測器:光纖感測器。

自由度(DOF) : 5個手指的彎曲感測器、手掌的傾斜和轉動。

空間定位:無,可通過增加三維跟蹤器來實現。

測量精度: 8位A /D採樣,漂移擾動小。

最大採樣頻率: 200 Hz。

介面: RS232,支持無線收發。

應用情況:被設計為三維輸入設備,適合對虛擬世界的控制和操作,手勢識別,物理療法和物理復原,遠程機器人的控制等。

評價:質量有保證,適合大眾的尺寸,左右手版本,佩戴非常舒適; PC的ISA匯流排可同時連接4個手套,開放式結構,滑鼠模擬模式, VR 程序驅動,有DOS和W indows下的軟體開發包;但是對不同用戶需要重新校正,同樣也存在疲勞問題。

2.3　數據手套應用現狀及今後的研製發展方向

隨著虛擬現實技術在各個領域的廣泛應用,數據手套的研製和應用也不斷深入。例如,美國宇航局的Ames實驗室將數據手套工程化,使其成為可用性較高的產品,在約翰遜空間中心完成空間站操縱的實時模擬。美國Boneing公司製造了一架虛擬飛機,運用數據手套進行控制,從而觀察設計結果,考察性能指標。NEC公司開發的虛擬現實系統,操作者通過使用數據手套可以處理三維CAD中的形體模型。國內的研究也取得了一批成果。

目前數據手套研究領域中仍存在著許多沒有解決的理論問題和尚未克服的技術難點,需要人們去探索和尋找解決之道。今後研究的重點主要有以下幾方面:

(1)研製開發能夠滿足數據手套實用性要求的新型感測器

感測器技術是數據手套系統中的核心和關鍵技術,數據手套的交互能力直接取決於感測器的性能。目前儘管已經出現了多種數據手套專用感測器,但還不能真正滿足數據手套的實用性要求。因此採用新技術、新材料、新結構,研製出精度高、體積小、成本低、不易損壞、易於更換的高性能感測器,是數據手套能否進一步商品化、實用化的關鍵。

(2)研製技術成熟、性能可靠的力反饋裝置

手指力反饋裝置的研究對數據手套的應用意義重大。具有力反饋功能的數據手套不但可以使用戶以較自然的方式將自己的手部動作傳遞給虛擬環境,實現對虛擬環境的操作,也可以使用戶利用觸覺和力覺反饋信息,得到真實的「沉浸感」,尤其對機器人技術力反饋是至關重要的。目前這種數據手套不多,技術不夠成熟,需進一步提高性能,降低價格,增強實用性。

(3)硬體介面及軟體環境的深入開發

進一步開發各種數據手套通用的介面及專用軟體,使其具備良好的可移植性、可擴充性,方便以後用戶系統的更新升級。

(4)進一步提高設計工藝要求

在數據手套及其部件的選材、設計組裝等方面下功夫,既要佩戴方便舒適,又要易於組裝維護,進一步提高整體性能。