论文部分内容阅读
当前虚拟仿真资源多以学习者视觉为主要反馈感官，受VR系统设计界面上的局限，输入主要以凝视、手势、交互手柄等为主，缺乏高维度上的信息反馈和交互，大大降低了学习者在虚拟世界中的真实感受[1]。针对当前教学资源中交互过程不自然、视觉易疲劳、沉浸感不强等问题。本文利用zSpace设备所独有的触觉反馈和双目立体显示技术，设计了一种基于触觉反馈的虚拟仿真资源方案，包括沉浸式仿真环境构建、场景舒适区设计、虚拟场景布置与触觉交互设计。将振动式触觉反馈与沉浸式环境相结合并融合多种感官，实现既能看到又能摸到的交互体验，为情景化的学习资源构建提供一种新模式，激发学习者的学习兴趣和积极性，满足其获得更佳沉浸感的需求。
搭建沉浸式虚拟仿真环境
沉浸式虚拟仿真环境需要模拟双眼标定左右相机的参数，确定视差区域和类型。在场景布设时，还需要计算学习者观察的最佳舒适区，合理布局场景的交互界面及三维模型。
1.双目视差类型
根据物体在虚拟场景中的深度位置（相对屏幕），人眼的立体感能区别物体的远近。由于深度值决定了立体图像中的视差量与类型，因此根据深度位置将视差划分为三种类型，即零视差、正视差、负视差[2，3]。正视差表示被观察物体投影到左右眼时会和投影平面有两个焦点，使人产生物体深入屏幕的感觉。零视差表示左右眼的投影点刚好在物理平面上，且左右眼所采集的两幅图像之间没有任何差别。负视差表示投影点在屏幕以外，视差出現反转，被观察的物体看上去就像飘浮在眼睛和屏幕之间的三维空间，使人产生突出在屏幕外的感觉。由于左右眼的视线方向是平行的，并非垂直发射，因此合理利用VR设备和视差可获得最佳3D舒适区（即耦合区）。
2.虚拟场景布设
人眼具有提取影像深度信息的感知能力，当用户在合适距离观看VR显示设备时，屏幕表面（零视差面）的两边都会呈现清晰画面。由于人眼的景深作用，聚集在一定景深范围内不再需要重新聚焦，仍可在较长的一段时间内保持舒适体验[4]。聚集与聚焦具有耦合性，使得耦合区域成为3D场景最为重要的组合空间，为使用者提供舒适的3D效果。超出耦合区域学习者会产生不适感，随着离散性的增强，越容易视觉疲劳，当到达临界点时，用户将无法融合左右两幅的图像，完全破坏3D视觉效果。
因此，布设场景时需要先确定耦合区域，按照表1所示布设沉浸式环境的耦合和离散区域。
在场景中合理布设模型位置可以有效避免视觉疲劳、获得舒适视角。由于虚拟场景包含UI交互界面和三维模型两部分，其设计方式分别如下。
交互界面在操作过程中不需要跟随视角产生立体感，为避免其倾斜，影响学习者观察场景内容，将交互界面的元素都放置在零视差面，如图1所示。
图1 交互界面位置
三维模型的初始位置应被设在耦合区域的正视差范围内（0～30cm），如图2所示，这样能实现交互过程中拖拽、旋转、缩放三维模型到负视差区域，获得全方位多角度的舒适观察体验。
触觉交互设计
虚拟仿真资源为学习者构建了一个逼真的学习环境，但较难获得真实操作体验，视觉只负责定位，获得更加真实操作体验需要配合触觉交互设备。
1.触觉交互形式
虚拟仿真资源中常用的触觉交互反馈方式主要以手持式触觉反馈、可穿戴的移动触觉反馈为主[5]。本文选用手持式力反馈触控笔，采用和VR手柄类似的交互方式：两手独立操作、6自由度的空间定位跟踪，带有按钮和振动反馈以及LED显示灯。之所以选择这种反馈方式是跟学习者的操作习惯分不开的，其形状类似于手写笔，由左、中、右键组成，操作方法类似于鼠标，可以个性化设置振动强度，此外LED灯也会交替变换颜色，满足学习者在视觉和触觉上的学习需要。
在触控笔交互设计时需要着重强调触控笔的可视化和射线长度可视化两个因素。
图3 触控笔的可视化
触控笔的可视化：能在虚拟场景中模拟鼠标控制二维屏幕上光标效果，便于学习者观察其操作。这种类型的可视化形式多样，比如激光束等，也可对场景中三维模型进行可视化操作，比如模拟解剖刀、手等，如图3所示。触控笔射线长度的可视化：由于射线长度有固定长度、可变长度、混合长度三种类型，通过设置触控笔初始长度，控制场景交互以及振动力度。本文选择可变长度和混合长度相结合的交互形式。
2.触觉交互反馈
借助触觉反馈，学习者可以通过交互笔的振动力度和时间长短，获得不同的交互体验，实现身临其境的沉浸感。交互主要为用户提供引导与及时的反馈，不仅包括皮肤的触觉反馈，还融合视、听觉达到更加自然和真实的交互体验力反馈。触控笔在虚拟仿真场景中触觉交互类型：左键控制“拖动”、中键控制“点击（抓取）”、右键控制“旋转”。
上述三种交互方式在反馈过程中显得尤为重要，由于力反馈触控笔只能以振动形式给手部反馈，因此需要针对这三种振动反馈交互方式专门设计。点击交互操作，触控笔会出现一个短暂的振动，说明处于点击物体状态。拖动操作时，触控笔会模拟现实生活中的位置发生变化，当用户拾取模型时，可以通过调整振动力的大小和频率来模拟重量，重量较大的物体，在拖动过程中振动力度较大、频率较快。旋转操作时，可以实现旋转模型查看物体的结构，根据模型表面的真实结构，通过触觉反馈模型计算反馈力的大小，旋转过程中振动会持续产生。
种子萌发仿真实验应用分析
按照触觉反馈沉浸式仿真实验的设计方案，我们设计并实现了《中学实验教学》中种子萌发虚拟仿真实验，为了验证应用效果，以某中学七年级的学生为研究对象，使用该资源进行教学活动。通过对种子萌发知识前测、后测、课中随堂观察、课后师生访谈等方法进行反馈验证。根据课堂学习情况和学生的学习反馈，发现融入触觉反馈的教学资源能够带来新的教学体验，重构已有知识结构，还能够激发学生的好奇心，带给学生增强理解力的学习体验。因此无论从传授基础知识还是锻炼学生的动手操作能力方面，它都起到非常重要的作用。
本文将双目立体显示技术和触觉反馈技术融合到虚拟仿真实验设计中，通过构建虚拟仿真环境，探究视觉舒适区中场景合理布设，并结合触觉交互方式的多样性和反馈的真实性，将触觉反馈应用到沉浸式虚拟仿真资源中，运用触觉反馈模拟真实的交互操作。这种思路可以使那些成本高、周期长、不易观察的实验过程变得形象和具体，便于强化学生对缄默知识的获取与理解。
参考文献
路璐，田丰，戴国忠，王宏安. 融合触、听、视觉的多通道认知和交互模型[J]. 计算机辅助设计与图形学学报，2014，26（04）： 654-661.
何伟. Unity虚拟现实开发圣典[M]. 北京：中国铁道出版社，2016：290-291.
赵猛，金一丞，尹勇. 立体显示中双目视差模型和深度感知研究[J]. 计算机工程，2011，37（17）： 271-273.
Tam W J， Speranza F， Yano S， et al.Stereoscopic 3DTV： visual comfort[J]. Broadcasting， IEEE Transactions on 2011， 57（2）： 335-346.
王晨. 基于虚拟现实的沉浸式触觉交互教学应用研究[D]. 吉林大学，2017.
搭建沉浸式虚拟仿真环境
沉浸式虚拟仿真环境需要模拟双眼标定左右相机的参数，确定视差区域和类型。在场景布设时，还需要计算学习者观察的最佳舒适区，合理布局场景的交互界面及三维模型。
1.双目视差类型
根据物体在虚拟场景中的深度位置（相对屏幕），人眼的立体感能区别物体的远近。由于深度值决定了立体图像中的视差量与类型，因此根据深度位置将视差划分为三种类型，即零视差、正视差、负视差[2，3]。正视差表示被观察物体投影到左右眼时会和投影平面有两个焦点，使人产生物体深入屏幕的感觉。零视差表示左右眼的投影点刚好在物理平面上，且左右眼所采集的两幅图像之间没有任何差别。负视差表示投影点在屏幕以外，视差出現反转，被观察的物体看上去就像飘浮在眼睛和屏幕之间的三维空间，使人产生突出在屏幕外的感觉。由于左右眼的视线方向是平行的，并非垂直发射，因此合理利用VR设备和视差可获得最佳3D舒适区（即耦合区）。
2.虚拟场景布设
人眼具有提取影像深度信息的感知能力，当用户在合适距离观看VR显示设备时，屏幕表面（零视差面）的两边都会呈现清晰画面。由于人眼的景深作用，聚集在一定景深范围内不再需要重新聚焦，仍可在较长的一段时间内保持舒适体验[4]。聚集与聚焦具有耦合性，使得耦合区域成为3D场景最为重要的组合空间，为使用者提供舒适的3D效果。超出耦合区域学习者会产生不适感，随着离散性的增强，越容易视觉疲劳，当到达临界点时，用户将无法融合左右两幅的图像，完全破坏3D视觉效果。
因此，布设场景时需要先确定耦合区域，按照表1所示布设沉浸式环境的耦合和离散区域。
在场景中合理布设模型位置可以有效避免视觉疲劳、获得舒适视角。由于虚拟场景包含UI交互界面和三维模型两部分，其设计方式分别如下。
交互界面在操作过程中不需要跟随视角产生立体感，为避免其倾斜，影响学习者观察场景内容，将交互界面的元素都放置在零视差面，如图1所示。
图1 交互界面位置
三维模型的初始位置应被设在耦合区域的正视差范围内（0～30cm），如图2所示，这样能实现交互过程中拖拽、旋转、缩放三维模型到负视差区域，获得全方位多角度的舒适观察体验。
触觉交互设计
虚拟仿真资源为学习者构建了一个逼真的学习环境，但较难获得真实操作体验，视觉只负责定位，获得更加真实操作体验需要配合触觉交互设备。
1.触觉交互形式
虚拟仿真资源中常用的触觉交互反馈方式主要以手持式触觉反馈、可穿戴的移动触觉反馈为主[5]。本文选用手持式力反馈触控笔，采用和VR手柄类似的交互方式：两手独立操作、6自由度的空间定位跟踪，带有按钮和振动反馈以及LED显示灯。之所以选择这种反馈方式是跟学习者的操作习惯分不开的，其形状类似于手写笔，由左、中、右键组成，操作方法类似于鼠标，可以个性化设置振动强度，此外LED灯也会交替变换颜色，满足学习者在视觉和触觉上的学习需要。
在触控笔交互设计时需要着重强调触控笔的可视化和射线长度可视化两个因素。
图3 触控笔的可视化
触控笔的可视化：能在虚拟场景中模拟鼠标控制二维屏幕上光标效果，便于学习者观察其操作。这种类型的可视化形式多样，比如激光束等，也可对场景中三维模型进行可视化操作，比如模拟解剖刀、手等，如图3所示。触控笔射线长度的可视化：由于射线长度有固定长度、可变长度、混合长度三种类型，通过设置触控笔初始长度，控制场景交互以及振动力度。本文选择可变长度和混合长度相结合的交互形式。
2.触觉交互反馈
借助触觉反馈，学习者可以通过交互笔的振动力度和时间长短，获得不同的交互体验，实现身临其境的沉浸感。交互主要为用户提供引导与及时的反馈，不仅包括皮肤的触觉反馈，还融合视、听觉达到更加自然和真实的交互体验力反馈。触控笔在虚拟仿真场景中触觉交互类型：左键控制“拖动”、中键控制“点击（抓取）”、右键控制“旋转”。
上述三种交互方式在反馈过程中显得尤为重要，由于力反馈触控笔只能以振动形式给手部反馈，因此需要针对这三种振动反馈交互方式专门设计。点击交互操作，触控笔会出现一个短暂的振动，说明处于点击物体状态。拖动操作时，触控笔会模拟现实生活中的位置发生变化，当用户拾取模型时，可以通过调整振动力的大小和频率来模拟重量，重量较大的物体，在拖动过程中振动力度较大、频率较快。旋转操作时，可以实现旋转模型查看物体的结构，根据模型表面的真实结构，通过触觉反馈模型计算反馈力的大小，旋转过程中振动会持续产生。
种子萌发仿真实验应用分析
按照触觉反馈沉浸式仿真实验的设计方案，我们设计并实现了《中学实验教学》中种子萌发虚拟仿真实验，为了验证应用效果，以某中学七年级的学生为研究对象，使用该资源进行教学活动。通过对种子萌发知识前测、后测、课中随堂观察、课后师生访谈等方法进行反馈验证。根据课堂学习情况和学生的学习反馈，发现融入触觉反馈的教学资源能够带来新的教学体验，重构已有知识结构，还能够激发学生的好奇心，带给学生增强理解力的学习体验。因此无论从传授基础知识还是锻炼学生的动手操作能力方面，它都起到非常重要的作用。
本文将双目立体显示技术和触觉反馈技术融合到虚拟仿真实验设计中，通过构建虚拟仿真环境，探究视觉舒适区中场景合理布设，并结合触觉交互方式的多样性和反馈的真实性，将触觉反馈应用到沉浸式虚拟仿真资源中，运用触觉反馈模拟真实的交互操作。这种思路可以使那些成本高、周期长、不易观察的实验过程变得形象和具体，便于强化学生对缄默知识的获取与理解。
参考文献
路璐，田丰，戴国忠，王宏安. 融合触、听、视觉的多通道认知和交互模型[J]. 计算机辅助设计与图形学学报，2014，26（04）： 654-661.
何伟. Unity虚拟现实开发圣典[M]. 北京：中国铁道出版社，2016：290-291.
赵猛，金一丞，尹勇. 立体显示中双目视差模型和深度感知研究[J]. 计算机工程，2011，37（17）： 271-273.
Tam W J， Speranza F， Yano S， et al.Stereoscopic 3DTV： visual comfort[J]. Broadcasting， IEEE Transactions on 2011， 57（2）： 335-346.
王晨. 基于虚拟现实的沉浸式触觉交互教学应用研究[D]. 吉林大学，2017.