论文部分内容阅读
虚拟现实技术让人们获得了一种独特的方法来增强复杂的三维物体和环境的用户可视化。虚拟现实是人们通过计算机对复杂数据进行可视化、创造可以操作以及实时交互的环境的重要工具。虚拟现实技术中计算机图形学的应用与传统的计算机图形学相似，但同时也有很多独立于传统模式而专门服务于虚拟现实技术的新技术。计算机图形学在虚拟现实技术中的应用有如下两种：数字媒体与医疗。数字媒体中主要关注于虚拟现实技术中常用的建模，渲染，图像输出技术。而医疗也拥有其独特的处理内容与展现方法。
一、数字媒体应用
1. CG模型的基本特征
几何建模技术是计算机中构造几何形态和计算的技术。它的目的是构建所需要的对象模型，该模型是计算机生成虚拟现实环境中物体的重要基础。这一技术不仅是虚拟现实技术中的重要基础，也广泛应用于机械设计、数控加工、建筑设计等领域。因此，在虚拟现实技术中建立一个虚拟空间时一定要建立一个几何图形环境，并用一定的光照模型来描述场景，在假想光源下计算纹理、材质的照明效果。同时，以数字图像的方式输出现实的图形计算结果。[1]
2. 图像特征提取与分析
图像特征提取与分析技术不同于传统的计算机图形学方向而更多的存在于计算机视觉方向。虚拟现实系统中主要在于应用其图像识别能力与多维信息的获取能力得以更好的模拟现实世界的情况。当前有如下两种常见图像特征提取方法。
（1）HOG特征：
方向梯度直方图（Histogram of Oriented Gradient， HOG）特征是计算机视觉技术和计算机图像处理中一种用来实现物体检测的特征算子。通过应用了方向梯度直方图特征的支持向量机（SVM）分类器已经被广泛地应用于了计算机图像识别技术中.HOG+SVM进行图形检测的方法是法国研究人员Dalal在2005年的CVPR上提出的，而如今虽然有很多检测算法不断提出，但基本都是以HOG+SVM的思路为主。[2][3]
（2） LBP特征：
LBP（Local Binary Pattern，局部二值模式）特征算子是一类用来描述图像局部纹理特征的图像识别算子。这一算子在图像识别过程中具有旋转不变性和灰度不变性的的显著优点。局部二值特征算子是首先由T. Ojala， M.Pietik？inen， 和D. Harwood 在1994年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征；[2][4]
3. 三维建模和重建
从三维模型的图像重建是虚拟现实系统中计算机图形学和计算机视觉的重要研究课题。同时基于图像的三维人脸重建也可以作为其的一个特殊的子问题研究。此技术针对如何处理获取的的扫描图像，分析三维空间的位置关系，并充分发挥扫描测量获取到的全部细节信息有着关键作用。[5][11]针对三维模型的重建，国内学者已经提出了各种方法[6]。这些方法实现三维重建是有效可行的。但基于图像特征的三维重建方法，并不一定能有效地解决一般三维空间位置关系问题中所包含的图像问题，如故障点问题、障碍物等。
二、医疗应用
虚拟现实体现了用户沉浸在人工的、完全由计算机生成的环境中的技术，因此与传统方法相比，虚拟现实系统在医疗领域的应用能更好的还原病人的详细信息。
近年来，虚拟现虽然在许多工业应用领域得到了广泛的应用。然而，在医学领域中只有少数非常专业的VR方法。尽管从磁共振（MR）、X射线（CT）或3D超声（US）断层扫描中获得的医学图像具有三维特征，但目前还没有支持临床诊断和治疗规划的VR系统。[7]
医学中唯一的初始对象是灰色值图像序列。这些灰度值代表从成像设备测量或计算的值，在大多数情况下不能用于自动对象分割和识别。因此，实时体绘制技术和选择分割的交互方法是虚拟现实中诊断的需要。
另一个不同之处是虚拟物体的必要精度。医疗虚拟物体必须尽可能准确地再现现实。因此，传统的算法构建的医疗对象的几何表示有非常多的三角形。网格复杂性带来的计算复杂度上升会显著导致在大多数情况下无法接受的精度损失。[11]
当前医疗领域使用的计算机图形学技术有如下三种：
1. 体绘制技术
传统3D纹理映射技术相比于基于CPU的体绘制技术，其主要缺点是缺少阴影渲染能力。而基于CPU的体绘制技术，像光线追踪技术，则很容易产生阴影的图片，例如医疗领域的很多身体检查结果。这些灰度阈值表示了光能够穿透的能力。因此只要结合表面法向量计算和生成的颜色还有依据已知的光源的位置和颜色并使用Phong照明计算模型进行计算的结果便能生成需要的相应图像。这种技术需要找到合适的分割阈值并进行体绘制才能达到作用。
2. 细分技术
細分技术为另一种常用的图像分割技术，该策略非常适合在虚拟现实中使用。它包括三种不同类型的方法：1.自动分割算法；2.灰度值控制增长算法3.器官的交互定位和自动装配模型。
如果底层算法足够健壮并且能够有效地计算，那么完全自动分割将是一种理想的技术。但这些算法只存在于一些非常特定的问题中。在虚拟现实中，唯一需要的交互就是从算法池中选择相应的方法。
3. 表面重建和渲染技术
在虚拟现实的应用中，应用表面重建与渲染技术可以通过获取有限的图像表面数据进行三维图像的重建。其优势主要在于以下三点：
●大幅减少了要渲染的多边形数量，而不会在重要的可视截屏区域造成质量损失；
●高效执行基于CPU的实时可见性测试（剔除、剪切）；
●负载管理以平衡CPU和图形子系统的计算压力。
图像表面数据是在表面简化过程中获取的的。它可以与任何基于对表面部分的简化算法相结合生成。基本概念是将应用于对象的简化步骤存储在分层数据结构中。这一知识使绘制近似绘制过程中重现物体细节成为可能。 參考文献：
[1] Middleton， Kellie K.， et al. "Improved nondominant hand performance on a laparoscopic virtual reality simulator after playing the Nintendo Wii." Surgical endoscopy 27.11 （2013）： 4224-4231.
[2]Pengkun Wu “Analysis on the current condition of virtual reality and computer graphics and the applications on the digital media interaction” Inventive Computation Technologies （ICICT）， International Conference on
[3]Carlo Tomasi “Histograms of Oriented Gradients”
[4]Di Huang， Caifeng Shan， Mohsen Ar debilian， Yunhong Wang， and Liming Chen “Local Binary Patterns and Its Application to Facial Image Analysis： A Survey”
[5] Wang， Jingyan， et al. "Image tag completion by local learning." Advances in Neural Networks–ISNN 2015. Springer International Publishing， 2015. 232-239.
[6] Chen， Bolun， Ling Chen， and Yixin Chen. "Efficient ant colony optimization for image feature selection." Signal processing 93.6 （2013）： 1566-1576.
[7]M. Haubner ； C. Krapichler ； A. Losch ； K.-H. Englmeier ； W. Van Eimeren “Virtual reality in medicine-computer graphics and interaction techniques” IEEE Transactions on Information Technology in Biomedicine （ Volume： 1， Issue： 1， March 1997 ）
[8]wiki "https：//en.wikipedia.org/wiki/Volume_rendering"
[9]Dilpreet Kaur， Yadwinder Kaur “Various Image Segmentation Techniques： A Review”
[10]Weber， Daniel， et al. "Efficient gpu data structures and methods to solve sparse linear systems in dynamics applications." Computer Graphics Forum. Vol. 32. No. 1. Blackwell Publishing Ltd， 2013.
[11]Shubhankar Ranade； Mingshu Zhang； Mohammed Al-Sada； Jaryd Urbani； Tatsuo Nakajima “Clash tanks： An investigation of virtual and augmented reality gaming experience “2017 Tenth International Conference on Mobile Computing and Ubiquitous Network （ICMU）
北京工业大学“国家级大学生创新创业训练计划”资助，项目编号：GJDC-2018-01-14
一、数字媒体应用
1. CG模型的基本特征
几何建模技术是计算机中构造几何形态和计算的技术。它的目的是构建所需要的对象模型，该模型是计算机生成虚拟现实环境中物体的重要基础。这一技术不仅是虚拟现实技术中的重要基础，也广泛应用于机械设计、数控加工、建筑设计等领域。因此，在虚拟现实技术中建立一个虚拟空间时一定要建立一个几何图形环境，并用一定的光照模型来描述场景，在假想光源下计算纹理、材质的照明效果。同时，以数字图像的方式输出现实的图形计算结果。[1]
2. 图像特征提取与分析
图像特征提取与分析技术不同于传统的计算机图形学方向而更多的存在于计算机视觉方向。虚拟现实系统中主要在于应用其图像识别能力与多维信息的获取能力得以更好的模拟现实世界的情况。当前有如下两种常见图像特征提取方法。
（1）HOG特征：
方向梯度直方图（Histogram of Oriented Gradient， HOG）特征是计算机视觉技术和计算机图像处理中一种用来实现物体检测的特征算子。通过应用了方向梯度直方图特征的支持向量机（SVM）分类器已经被广泛地应用于了计算机图像识别技术中.HOG+SVM进行图形检测的方法是法国研究人员Dalal在2005年的CVPR上提出的，而如今虽然有很多检测算法不断提出，但基本都是以HOG+SVM的思路为主。[2][3]
（2） LBP特征：
LBP（Local Binary Pattern，局部二值模式）特征算子是一类用来描述图像局部纹理特征的图像识别算子。这一算子在图像识别过程中具有旋转不变性和灰度不变性的的显著优点。局部二值特征算子是首先由T. Ojala， M.Pietik？inen， 和D. Harwood 在1994年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征；[2][4]
3. 三维建模和重建
从三维模型的图像重建是虚拟现实系统中计算机图形学和计算机视觉的重要研究课题。同时基于图像的三维人脸重建也可以作为其的一个特殊的子问题研究。此技术针对如何处理获取的的扫描图像，分析三维空间的位置关系，并充分发挥扫描测量获取到的全部细节信息有着关键作用。[5][11]针对三维模型的重建，国内学者已经提出了各种方法[6]。这些方法实现三维重建是有效可行的。但基于图像特征的三维重建方法，并不一定能有效地解决一般三维空间位置关系问题中所包含的图像问题，如故障点问题、障碍物等。
二、医疗应用
虚拟现实体现了用户沉浸在人工的、完全由计算机生成的环境中的技术，因此与传统方法相比，虚拟现实系统在医疗领域的应用能更好的还原病人的详细信息。
近年来，虚拟现虽然在许多工业应用领域得到了广泛的应用。然而，在医学领域中只有少数非常专业的VR方法。尽管从磁共振（MR）、X射线（CT）或3D超声（US）断层扫描中获得的医学图像具有三维特征，但目前还没有支持临床诊断和治疗规划的VR系统。[7]
医学中唯一的初始对象是灰色值图像序列。这些灰度值代表从成像设备测量或计算的值，在大多数情况下不能用于自动对象分割和识别。因此，实时体绘制技术和选择分割的交互方法是虚拟现实中诊断的需要。
另一个不同之处是虚拟物体的必要精度。医疗虚拟物体必须尽可能准确地再现现实。因此，传统的算法构建的医疗对象的几何表示有非常多的三角形。网格复杂性带来的计算复杂度上升会显著导致在大多数情况下无法接受的精度损失。[11]
当前医疗领域使用的计算机图形学技术有如下三种：
1. 体绘制技术
传统3D纹理映射技术相比于基于CPU的体绘制技术，其主要缺点是缺少阴影渲染能力。而基于CPU的体绘制技术，像光线追踪技术，则很容易产生阴影的图片，例如医疗领域的很多身体检查结果。这些灰度阈值表示了光能够穿透的能力。因此只要结合表面法向量计算和生成的颜色还有依据已知的光源的位置和颜色并使用Phong照明计算模型进行计算的结果便能生成需要的相应图像。这种技术需要找到合适的分割阈值并进行体绘制才能达到作用。
2. 细分技术
細分技术为另一种常用的图像分割技术，该策略非常适合在虚拟现实中使用。它包括三种不同类型的方法：1.自动分割算法；2.灰度值控制增长算法3.器官的交互定位和自动装配模型。
如果底层算法足够健壮并且能够有效地计算，那么完全自动分割将是一种理想的技术。但这些算法只存在于一些非常特定的问题中。在虚拟现实中，唯一需要的交互就是从算法池中选择相应的方法。
3. 表面重建和渲染技术
在虚拟现实的应用中，应用表面重建与渲染技术可以通过获取有限的图像表面数据进行三维图像的重建。其优势主要在于以下三点：
●大幅减少了要渲染的多边形数量，而不会在重要的可视截屏区域造成质量损失；
●高效执行基于CPU的实时可见性测试（剔除、剪切）；
●负载管理以平衡CPU和图形子系统的计算压力。
图像表面数据是在表面简化过程中获取的的。它可以与任何基于对表面部分的简化算法相结合生成。基本概念是将应用于对象的简化步骤存储在分层数据结构中。这一知识使绘制近似绘制过程中重现物体细节成为可能。 參考文献：
[1] Middleton， Kellie K.， et al. "Improved nondominant hand performance on a laparoscopic virtual reality simulator after playing the Nintendo Wii." Surgical endoscopy 27.11 （2013）： 4224-4231.
[2]Pengkun Wu “Analysis on the current condition of virtual reality and computer graphics and the applications on the digital media interaction” Inventive Computation Technologies （ICICT）， International Conference on
[3]Carlo Tomasi “Histograms of Oriented Gradients”
[4]Di Huang， Caifeng Shan， Mohsen Ar debilian， Yunhong Wang， and Liming Chen “Local Binary Patterns and Its Application to Facial Image Analysis： A Survey”
[5] Wang， Jingyan， et al. "Image tag completion by local learning." Advances in Neural Networks–ISNN 2015. Springer International Publishing， 2015. 232-239.
[6] Chen， Bolun， Ling Chen， and Yixin Chen. "Efficient ant colony optimization for image feature selection." Signal processing 93.6 （2013）： 1566-1576.
[7]M. Haubner ； C. Krapichler ； A. Losch ； K.-H. Englmeier ； W. Van Eimeren “Virtual reality in medicine-computer graphics and interaction techniques” IEEE Transactions on Information Technology in Biomedicine （ Volume： 1， Issue： 1， March 1997 ）
[8]wiki "https：//en.wikipedia.org/wiki/Volume_rendering"
[9]Dilpreet Kaur， Yadwinder Kaur “Various Image Segmentation Techniques： A Review”
[10]Weber， Daniel， et al. "Efficient gpu data structures and methods to solve sparse linear systems in dynamics applications." Computer Graphics Forum. Vol. 32. No. 1. Blackwell Publishing Ltd， 2013.
[11]Shubhankar Ranade； Mingshu Zhang； Mohammed Al-Sada； Jaryd Urbani； Tatsuo Nakajima “Clash tanks： An investigation of virtual and augmented reality gaming experience “2017 Tenth International Conference on Mobile Computing and Ubiquitous Network （ICMU）
北京工业大学“国家级大学生创新创业训练计划”资助，项目编号：GJDC-2018-01-14