虛擬現實醫學教學平臺研究范文

本站小編為你精心準備了虛擬現實醫學教學平臺研究參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

[摘要]目的：設計一種雙目立體虛擬現實(VR)顯示教學資源平臺，利用其沉浸性能來增強對學員主觀視角上的刺激，達到快速拓展知識面的效果。方法：對3D立體視覺原理進行探討，設計立體顯示的軟硬件系統再使用計算機實現視覺模型，采用打開圖形庫(OpenGL)圖像編程接口，分析OpenGL實現三維(3D)圖像渲染顯示的原理與其坐標變換原理；在OpenGL中構建平行雙目視覺的影像模型，確定在雙目立體顯示系統中兩個攝像機的相對位置；使用OpenGL在該模型的基礎上設計3D-VR醫學教學資料。結果：研究的視頻資源的渲染質量能夠達理想要求，圖形渲染速率可滿足交互操作的要求，交互性能良好。使用數學建模方法實現兩種視覺模型建模；使用OpenGL構建了平行雙目投影模型，完成了雙目立體顯示平臺的設計與實現。結論：3D雙目視覺的VR醫學教學平臺能夠較好的表現醫學教學操作場景的特征，達到了預期的效果；豐富了教學資源，提高了學員的培訓效率。

[關鍵詞]虛擬現實；視覺模型；三維；醫學教學平臺

隨著計算機科學技術的不斷進步，促使虛擬現實(virtualreality，VR)技術的發展。VR技術是以計算機技術為基礎，集成了三維(three-dimensional，3D)圖像、立體顯示和觸覺反饋等多種技術，是構建VR數字環境的一門新興技術。在一定范圍內VR環境在視覺、聽覺和觸覺等感官方面與真實環境高度相似，并能實現人與計算機之間的理想交互[1]。其中，立體顯示技術—3D則是VR技術中最為關鍵的技術之一。由于人眼看事物時是通過雙目成像的過程，普通的視頻及圖像顯示，只能展示所謂平面的二維空間影像，即無法充分展示以及令眼部感受到事物的深淺、遠近以及角度等信息，因此真正的VR醫學教學資源的既視感需要3D成像來展示。為此，本研究設計開發一種雙目立體3D-VR醫學教學資源平臺，為教學資源中的新技術和新業務開展提供技術支持。

13D-VR醫學教學平臺

1.1研發背景

VR技術在醫學上的應用前景十分廣泛，生物學與醫學仿真系統的開發也越來越多，3D雙目視覺VR醫學教學平臺是基于虛擬仿真操作來實現[2]。在教學操作中，醫生需要通過使用剪刀、抽吸器和手術刀等手術器械來進行手術操作，將這些內容反映到VR醫學教學的場景中，需要針對操作實現相關的立體視頻展示，而由于不同患者信息的差異性，需要獲取不同患者的病理特征，并在VR場景中重現其特征。因此，通過利用基于計算機立體視覺的雙目3D視覺技術，模擬重現真實的醫學教學場景，以此訓練醫生和(或)學員的操作能力，而訓練者通過相應的硬件設備便能夠觀測到3D-VR視覺效果，從而獲取更好的訓練效果。

1.2主要研究內容

本研究以3D雙目視覺的VR技術為基礎，將其應用于計算機VR醫學教學中，以解決VR仿真系統中3D顯示問題；探究3D視頻渲染及紋理映射等問題，為實現VR的沉浸式感受提供理論指導與依據，并為其他相關的研究提供理論支持。在一般的VR顯示設備中，采用的頭盔顯示器的顯示屏并不能完全的覆蓋眼睛的視場，除顯示屏顯示的畫面外，還能看到很大部分的黑暗背景。對此，在醫學VR教學實驗平臺的基礎上提出廣視角的雙目3D視覺解決方案，能夠完全的覆蓋人眼的視覺場景；通過理論分析、系統設計編程以及實驗測試與評價，完善了本研究提出的雙目3D立體顯示系統設計。通過改善理論與模型，構建較為優化的雙目3D立體顯示系統，并對系統性能進行評價[3]。研究內容包括：①設計廣視角3D雙目視覺的VR顯示系統，對系統的硬件系統做出詳盡的分析，研究一個實用的廣視角3D立體顯示方案；②針對平臺中的教學操作過程模型仿真與圖像視頻顯示，利用本領域的現有研究成果，提出平臺的軟件設計，著重研究VR醫學教學平臺的3D成像方案，視頻渲染方法等；③研究雙目立體視覺的幾何投影模型，通過分析各種模型的優缺點，確定采用的幾何投影模型，并通過打開圖形庫(opengraphicslibrary，OpenGL)專業3D程序接口，實現本設計的模型，完成3D雙目視覺的VR軟件設計。

23D雙目視覺的VR系統平臺研發

2.1平臺總體架構

雙目視覺的VR醫學平臺架構可分為3D建模、觸覺反饋、VR設備、3D-VR教學資源和視覺系統部分。雙目視覺的VR醫學平臺的工作流程為：系統通過3D建模導入系統的模型數據→用戶(學員)通過觸覺設備與系統進行交互操作→操作結果反饋到視覺系統→視覺系統通過反饋的數據渲染出視頻并將反饋視覺信息給用戶→用戶通過視覺、力觸覺等感官因素與系統進行交互操作[4]。

2.2平臺硬件組成

在3D雙目視覺的VR平臺上，設計的雙目場景均可以實現3D-VR視覺顯示。在硬件模塊中，3D雙目視覺的VR醫學教學平臺將操作數據流導入到視覺系統中；中央處理器(centralprocessingunit，CPU)通過指令控制數據的處理，圖形處理單元(graphicsprocessingunit，GPU)協助處理圖形數據，并將經過處理的CPU和GPU數據流導入到緩沖存儲器；用戶選擇顯示模式，緩沖存儲器則將處理好的圖像數據流傳入相關的顯示器進行顯示。同時，可通過頭部追蹤及音頻設備等來增強系統沉浸感。硬件系統主要由個人計算機(personalcomputer，PC)終端與頭盔顯示器兩部分組成。由于本研究所涉及的模型數據很大，需要圖形加速來提供較快運算速度以達到快速的視頻隊列渲染刷新速率，因此需選取具有較強視頻處理能力的工作站。

2.2.1PC終端

采用的CPU為Intelcorei7-6700處理器，使用22nm制作工藝，處理性能穩定。CPU具有四核、八線程、三級緩存，處理器主頻3.4GHz，處理速度能夠滿足本系統的處理任務要求，對于本研究的3D雙目視覺的VR醫學教學平臺程序運行已足夠。顯卡芯片為NvidiaGeForceGTX960，英偉達Quadro系列顯示芯片，其定位為專業級繪圖工作站領域，具有十分優秀的圖形繪制能力。內存為32GB的DDR4ECCRDIMM，具有新一代內存的優秀存儲性能，能夠勝任本系統模型數據的存儲。

2.2.2VR顯示設備

采用2016年新上市的OculusRiftCV1頭戴式顯示器，CV1版本相比之前的DK2版本有著諸多的升級之處，其配備了全新雙有機發光二極管(organiclight-emittingdiode，OLED)顯示屏設計，綜合分辨率為2160×1200像素，90Hz刷新率及110度視野，防止眩暈并提供足夠流暢的使用體驗；內置陀螺儀、加速度計及磁力計等，其顯示精度在同類產品中較為優秀。配置上足以滿足良好的觀摩體驗，該設備在目前的研究階段中，尚未獲得廣泛普及與應用，但發展十分迅速。相對市場上其他產品較為經濟，且具有覆蓋眼睛全部視場的全視角，適合于本研究的探索性測試，能夠起到頭部跟蹤效果及廣視角顯示作用，且能夠清晰的顯示圖像，并且達到沉浸式效果。VR顯示設備具有兩組曲率差別的透鏡組，A類透鏡適用于普通視力及輕度近視的使用者，B類透鏡適用于高度近視的使用者；頭部位置追蹤設備，可以通過追蹤頭部位置來實現渲染視點的轉移；數字視頻接口(digitalvisualinterface，DVI)轉換高清晰度多媒體接口(highdefinitionmultimediainterface，HDMI)視頻轉換接口，適用于對電腦接口的轉接，可更改插頭的電源適配器，以及若干連接線。

2.2.3VR顯示設備廣視角的實現

VR顯示設備通過凸透鏡的放大原理，在人眼與顯示屏之間放置一組凸透鏡，通過圖像的處理使得眼睛獲取廣視角，從而增加了設備的沉浸感。顯示屏通過顯示軟件處理得到的圖像，而顯示屏的光線則透過透鏡組到達眼睛，正如圖4所顯示，人眼的視角得到了全部的覆蓋。廣視角的頭盔顯示器能夠帶給觀測者極強的沉浸感，但由于使用透鏡放大虛像，需要對圖像做進一步的處理，圖像邊緣的扭曲效應，鋸齒效應仍然十分明顯，有待在今后的研究中得以解決。

2.2.4頭戴顯示器頭部追蹤的實現

頭戴顯示器的頭部追蹤裝置，在增強學員感官沉浸感的過程中起到探測跟蹤頭部的方位、實現渲染場景中觀察視點的改變作用。設置頭部為坐標，通過坐標設置確定了追蹤器追蹤的視點的原點位置；默認原點為人頭部初始位置，梯形視錐體為追蹤的范圍，只有當頭部的移動落在該范圍內部，頭部位置的轉移才會通過追蹤器在屏幕上得到追蹤點新的位置坐標。追蹤攝像機在得到頭部位置之后，通過基于原點的偏移計算，得到頭部偏移位置，繼而將偏移位移數據傳輸給顯示系統，系統通過重新計算設置內部攝像機模型新視點，以達到與頭部位置同步。

2.3平臺的軟件構建

VR醫學教學平臺開發的重點為3D視覺顯示，而VR教學平臺開發的軟件實現是視覺顯示實現的基礎，因此VR醫學教學平臺的軟件構建尤為重要。在VR醫學教學資源的實現過程中，充分利用計算機資源表達和實現近乎真實的VR場景，需要對醫學教學資源進行模擬及仿真處理。整個過程涉及到計算機圖形渲染和3D-VR虛擬模型等技術模擬“真實”的醫學教學場景。

2.3.13D視頻模型建立

(1)3D信息的獲取。3D視頻建模技術是使用計算機數字化對現實世界中物體進行形狀、材質、紋理等多方面屬性進行表述[5]。一般3D建模的主要步驟為：獲取3D信息、3D建模及模型的計算機實現。對于3D信息的獲取，需要獲取待建模物體的外部數據、位置信息、大小及長寬尺寸等。針對不同情形的物體，具體信息的獲取方式亦不同。傳統方法為直接測量獲取，隨著計算機科學的發展及各種科學檢測設備的出現，3D信息獲取的方式也越來越多，如激光掃描測量、結構光學測量以及近景攝影測量等。(2)模型的建立。傳統的模型建立，常使用幾何方法構建模型的結構，隨著各種3D建模輔助軟件的出現，可通過輔助軟件實現3D視頻模型的建立，設計模型的數據結構[6]。模型的計算機實現主要通過視頻渲染及紋理映射等方式來實現。在VR教學資源中，對于建立模型的實時交互性、顯示速率、模型精確度等具有較高的要求，就要求模型逼真，容易進行幾何處理，模型更新的速率能夠達到視頻渲染的速率。因此，在模型的獲取上，如通過激光掃描獲取更加精準的視頻數據，再通過分析數據，獲取視頻模型特征，消除噪聲并最終使用輔助軟件完成視頻模型數據的獲取[7]。(3)3D視頻模型實現。由于3D視頻模型無固定的結構特性，不具有拓撲結構，其簡單的構造極易進行幾何處理和點模型的重構，對于醫學教學資源而言，基于點的模型更適用于人機的交互操作，各階段數據的處理與模型的顯示可被簡化，因此采用3D點云模型的建模方法作為數據結構。通過3D離散點的采樣使用計算機重現出該模型的3D信息，進行位置計算并投影到2D屏幕上進行光照和紋理等處理，最終渲染出3D視頻。對于雙目立體顯示系統而言，更快的渲染速率意味著視頻更快的刷新速率，刷新速率越快，視頻顯示將更加穩健，則不會出現畫面的閃爍感，從而保證系統良好顯示效果。

2.3.23D視頻渲染視頻

渲染方法中，最常用的有三角網格法和基于點模型的渲染方法兩種[8]。三角網格法在視頻渲染中應用最為廣泛，使用該方法需要所渲染的曲面具有一致的拓撲關系。然而，當需要對教學視頻模型進行交互操作時，雖然該方法簡單，渲染效率高，但維護曲面一致的拓撲關系十分困難。不適合高實時性的系統。而基于點的方法相對更適合。基于點的渲染方法中，點能夠很容易地承擔視頻制作基元，渲染效率高，其難點在于使用離散點構造無空洞的連續表面，獲取點的法向量，使用精確的法向量能夠獲取更加真實的光照效果[9]。使用三個方向相互垂直的光源照射物體，從而記錄每條光線上與物體模型交點上的法向量、顏色及材質等信息，采用分層深度立方體(layereddepthcube，LDC)結構，類似于3D空間的坐標表示，LDC結構中相鄰的8塊構成1個大塊節點，也可理解為八叉樹結構。渲染時，設計了面元的概念，通過計算每個像素中面元個數，確定八叉樹中的層次可見性后再完成遮擋的判斷，通過法向量計算光照，最終完成立體視頻構造并顯示。采用八叉樹的數據結構來組建模型，能夠使得渲染速率與渲染質量都能達到預期的效果。

33D雙目立體教學資源應用

人類視覺可獲取80%的外界信息，而使用計算機及攝像設備來實現人類視覺功能十分困難。人類形成立體視覺與人眼的深度感知有關，即人眼分辨立體環境中物體的大小、遠近、高低和位置前后關系的能力[10]。深度感知的來源主要是雙目線索深度感知信息，借助計算機來模擬實現人類的視覺，模擬應用生物視覺仿生技術。一臺數字攝像機能夠以每秒數十幀的速度傳輸圖像給計算機，這種關系類似于人類視網膜與大腦之間的關系。通常，視覺系統獲取原始場景的信息并加以保存。場景中物體的灰度、形狀、位置等關系以及場景中光線關系均為獲取信息的重要因素，因此取決于物體的材質、紋理以及環境光照。使用計算機實現雙目視覺既需要硬件設計，也需要軟件支持，通過OpenGL的獨立的3D影像開發庫，跨平臺專業的圖形程序接口，同步實現實時立體配對的立體視頻。

3.1雙目線索

雙目線索指兩只眼睛協同獲取深度信息，主要包括雙眼調節、雙眼輻合及雙目視差等。雙目線索能夠分辨事物的相對位置，估算空間物體的相對距離[11]。其中，雙目視差是最為重要的深度感知方式。雙眼調節指眼睛晶狀體的調節，人眼在觀測物體時，通過改變晶狀體的曲率來調節眼睛的最佳視覺效果，通常正常瞳距范圍為5～7cm。人眼在觀看事物時映射到視網膜的圖像并不完全相同，略存在著些許差異，主要體現在角度不同，呈現的位置遠近也不盡相同。因此，大腦通過分析這種差異從而實現人眼觀測事物的3D化，同時也是3D立體顯示中最為重要的原理之一。

3.2雙目視差

雙目視差因素分為零視差、負視差、正視差和發散視差4類[12]。立體視覺實現中，雙目視差占據主導地位，渲染一幅立體影像時需要兩組二維影像配對。左右眼分別對應相對的影像，只有視差合適的影像才能夠被大腦融合并獲取深度信息，如果影像反饋的深度線索并不是相對應的視差印象，眼睛無法融合兩組影像，深度感將會減弱甚至消失，以至于眼睛看到兩組完全分離的影像。

3.3雙目視覺的攝像機投影模型

視覺的立體成像主要是由正視差形成。在計算機視覺中，基于人眼雙目線索感知距離的三角原理形成立體的影像。對于視差而言，遠處的物體視差變化較小、物體越遠雙眼越難分辨出其遠近關系，故深度感較弱；而近處的物體，視差變化較大，雙眼的辨別也較為容易。VR醫學教學平臺使用兩個攝像機與物體之間形成一個三角關系，根據攝像機投影模型不同來分類，可將立體視覺中的雙目模型分為平行雙目投影模型和匯聚雙目投影模型[11]。本研究采取平行雙目投影模型，兩個攝像機機位視線作用于同一平面內，其視覺方向一致，由此可以避免出現垂直視覺差異，左右兩眼視頻只有水平視差等匯聚雙目投影模型的缺陷，視頻的立體配對相對更加容易[12]。

3.4OpenGL坐標變換

OpenGL坐標變換是實現模型描述的基礎，在屏幕上描述一個物體時，在表示物體位置和形狀之前，需要一個參考點來標定測量與定位物體。在OpenGL的3D空間中，描述一個物體需要熟悉所使用的坐標系統，而視圖轉換是攝像機坐標設置的基礎，通過預設值視圖轉換來確定攝像機坐標位置，實現雙目攝像機定點拍攝。模型轉換與視圖轉換具有相同性質，統稱為模型視圖轉換。模型視圖轉換與投影轉換是形成3D空間事物距離、位置信息最為重要的轉換方式。投影轉換定義了3D空間物體到二維顯示的轉換，即將3D圖像投射到顯示的裁切平面上。視口轉換是將最終場景的二維投影投射到屏幕的某個窗口上，轉換多通過矩陣來實現，使用矩陣運算能夠簡化轉換之間的數學邏輯關系。在OpenGL中對于矩陣的大小無限制，但其每行或者每列所包含元素必須與矩陣中其他行或者列的元素數量相同。此外，采用到了模型視圖矩陣與投影矩陣。源頂點的數據一般依次經過模型視圖變換，投影變換，裁切變換，再使用透視除法獲得規范設備坐標，最終使用視口轉換來獲取窗口坐標。

3.5OpenGL中實現雙目立體顯示系統

整個系統的執行過程為，計算機實時的渲染一個單眼二維場景，并通過立體模式的判斷，詢問系統是否進入立體顯示模式。當選擇二維模式時，系統通過OpenGL接口函數，根據數學建模矩陣，設置單個攝像機的接口參數并建立單個的對稱視景體，設置單視口并制作視頻，通過渲染緩沖區的交換，最終顯示到顯示屏幕上。當選擇進入立體顯示模式時，系統會根據判斷參數，設置平行雙目投影數學模型的3D場景參數，并在OpenGL中建立該模型，使用非對稱視景體設置雙眼位置與視覺參數，再通過視口變換繪制圖像，最終渲染出圖像并在立體設備上顯示圖像。

3.63D-VR立體教學資源展示

將點數據通過接口函數讀入內存中，在使用渲染算法判斷某點的可見性，將需要繪制出的點輸入頂點著色器中進行光照、計算位置、半徑等處理，再通過紋理算法計算出對應點的紋理坐標；使用片段著色器將所有數據光柵化后再將視頻寫入相應的緩沖區，等待顯示設備讀取緩沖區的數據并最終將視頻顯示在屏幕上。

3.73D雙目視覺的VR醫學教學平臺評價

(1)學生深度學習的幫手。3D雙目視覺的VR醫學教學平臺與傳統的教學視頻相比較，其略帶趣味性，學生對新生事物充滿好奇心，而學生在略帶趣味性的3D-VR醫學教學系統的學習過程中，3D-VR立體視覺教學平臺從人體的感官層上不斷刺激腦細胞組織，不但能夠起到快速拓展知識面的效果，并且可充分掌握和鞏固所學內容，是學生進行深度學習的得力幫手。(2)改善教學資源不足現狀。3D-VR立體視覺教學資源是較為靈活的教學方式，并可不斷重復使用，極大彌補了傳統教學資源不足、分布不均衡的弊端，增強了醫學生良好的學習氛圍。對于醫學學科中的內鏡、喉鏡及影像等教學，傳統的教學方式無法展示操作方法，而3D-VR立體視覺教學平臺則可以延伸及完善；對于人類免疫缺陷病毒(humanimmunodeficiencyvirus，HIV)病毒實驗、有毒藥品實驗等，通過3D-VR立體視覺教學資源的展示學習，醫學生猶如身臨其境，既可加深對這類操作的感性認識，也可避免危險事故的發生，避免因實驗而造成的學員人身傷害。(3)自由掌握學習的時間與空間。3D-VR立體視覺教學資源突破了傳統醫學教學中時間與空間的限制，在極短的時間里，展示給學生的是精華，使那些原本需要長期的灌腸才能看到的某些病變、細菌培養、病毒培養及動物實驗等，可在數分鐘內便完成學習，且以第一實驗和(或)操作者的視覺進行，有利于學員知識面的拓展，在為學生提供了自由學習時間和空間的同時，激發了學生的興趣愛好。

4結論

本研究針對醫學教育設計出雙目視覺3D-VR醫學教學資源。雙目3D視覺的研究從視覺理論體系，到各種立體視覺顯示設備的出現，都越來越廣泛，3D立體顯示技術的應用加快了VR技術的研究發展。目前，VR的應用對于立體顯示的要求也越來越高，提高立體顯示設備的性能是科研努力的方向[13-14]。VR醫學教學資源是虛擬現實的一個重要的研究內容，通常醫學教學資源二維場景較多，本研究設計的雙目立體顯示教學資源平臺的3D顯示能夠增強學員的沉浸感，從而提高學員的培訓效率[15]。在使用計算機實現視覺模型上，采用OpenGL圖形、圖像編程接口，將OpenGL實現3D圖像渲染顯示的原理與其坐標變換原理應用在平行雙目視覺的影像模型的構建中，確定在雙目立體顯示系統中兩個攝像機的相對位置。使用OpenGL在該模型的基礎上設計了3D-VR醫學教學資料，其結果表明，本視頻資源的渲染質量能夠達到理想要求，圖形渲染速率滿足交互操作的要求，表現出了良好的交互性能。使用數學建模的方法實現兩種視覺模型的建模，使用OpenGL實現了平行雙目投影模型，完成了雙目立體顯示平臺的設計，使影像資料能夠較好地表現醫學教學操作場景特征，達到了預期的效果。

本研究的不足之處是，廣視角實現了人眼觀測視角的保障，但是卻會產生視頻隊列的偏差，在視頻的邊緣部分及色差較大的部分，存在一定的視頻鋸齒以及畸變，解決上述問題有待后續的研究。在軟件設計中，視頻渲染是最為重要的考量指標，渲染時間越快，交互系統就擁有更高的交互性能。在預處理層面，需考慮可視化的選擇、層次樹的控制以及幾何壓縮等。同時，還可采用合適的并行渲染方式、點模型實時渲染技術、用于提高視覺效果的方法(如光照，顏色等)。點模型的圖形渲染方法雖然多種多樣，但是其渲染質量、渲染速率并非是最理想狀態，提高渲染速率、視頻資料的質量依然是未來科研工作的重點。隨著計算機硬件水平、軟件技術的提升和影像視覺的發展，3D-VR醫學教學技術將日趨成熟，能夠為醫學教育提供更優質的教學資源。

作者：史森中；黃昊；劉洋；吳東東