论文部分内容阅读
手写笔是移动终端重要的输入设备之一,相比于手指能更精准、流畅地进行书写绘画等操作,但手写笔与移动终端的交互始终缺乏沉浸感与真实感,难以达到和真实纸张交互的相同感受,原因在于缺乏触觉反馈。笔式触觉反馈技术的实现,使操作者不仅可以看到屏幕中的画面,还可以使用手写笔感受画面中物体的轮廓、形状、纹理、硬度等物理属性,感受与虚拟物体的碰撞、摩擦等交互动态,拓宽感知维度,增加交互效率,提升用户体验,可广泛应用于教育、医疗、游戏、虚拟现实、线上购物等领域。随着移动终端在上述领域的普及,笔式触觉反馈技术引起了各大移动终端厂商及科研团队的广泛关注与大量研究探索,逐渐成为该领域的研究热点。笔式触觉反馈的实现需要解决两个问题。一是笔式触觉反馈渲染方式的选择与装置的设计,这是高质量的触觉渲染效果的前提和保证,难点在于装置需满足小型化,低功耗,低延时等特点;二是笔式触觉渲染方法的建立,包括触觉反馈模型的建立和触觉效果的输出,这是生成逼真触觉体验的关键,难点在于保证渲染的触觉反馈和真实的触觉反馈相似。目前,触觉反馈渲染的方式主要分依靠机械结构和振动电机实现。笔式振动触觉渲染方法主要分为三种,分别是合成计算的渲染方法、基于图像的渲染方法和数据驱动的渲染方法。合成计算的方法通过对纹理表面进行三维建模,通过计算手指和纹理表面的接触状态得出力反馈,该方法的计算量大,延时长,影响用户感知体验;基于图像的方法根据图像不同位置的特征产生相应的触觉反馈,但不能保证与真实触觉反馈相似;基于数据驱动的方法对真实的触觉反馈进行实际测量并建立反馈模型,能够产生接近真实的触觉反馈,但产生的触觉反馈信号只能复原振动频谱特征,时域周期性特征被丢失,导致触觉反馈的真实感仍然不足。针对以上问题,本文提出了可复原时域周期性特征的基于数据驱动的笔式触觉渲染方法,主要内容和创新性如下:(1)提出了一种基于数据驱动的笔式纹理触觉渲染方法。该方法包括触觉反馈实际测量、触觉反馈模型建立、电信号映射与生成三个部分。其中第一部分使用搭建的纹理触觉反馈数据采集系统,以速度和法向力这两种影响触觉感知的关键参数作为交互条件,测量笔和六种具有代表性的真实纹理在不同交互条件下产生的加速度数据,为笔式触觉反馈的建模提供依据;第二部分根据记录的数据,针对每个纹理建立速度、法向力和加速度数据之间的映射关系,并将这种映射关系以查询表的形式存储起来;第三部分根据用户选择的纹理以及笔和移动终端之间交互的速度和法向力条件,使用信号重建方法生成虚拟加速度数据,并线性映射为电信号,驱动线性电机产生相应的振动信号,实现对虚拟纹理的实时触觉渲染。(2)搭建了一套便携、兼容性强,时延低的笔式振动触觉反馈系统。该系统的硬件部分由平板电脑、压感手写笔、功率放大器与线性振动电机组成,软件部分基于C++编程语言实现。该系统能够实时读取手写笔速度和压力状态、计算触觉反馈信号、根据渲染方法合成振动反馈信号以及呈现图形交互界面,为本文所提触觉渲染方法的实现提供了平台,同时其低延时特性可为高质量的实时触觉渲染提供保证。(3)评估了本文所提方法的触觉渲染效果的真实感。通过对比本文所提方法和另外两种国际先进方法,验证了本文所提方法可以更好地复原触觉信号中的时域周期性特征,并通过用户实验证明了更好地复原时域周期性特征可以带来更高的真实感。用户实验包括对渲染的触觉反馈和真实触觉反馈的真实感对比打分,以及依据渲染的触觉感受对纹理进行识别。同时分析了本文所提方法的优势和局限性,以及其适用的条件。