随着虚拟现实技术的出现,新型人机交互形式也应运而生,传统的二维交互正逐渐向三维交互方向发展。虚拟现实中的人机交互与以往有着不同的特点,这种新型交互形式要能体现和谐自然和“以人为中心”的特征。其中,对人手的运动跟踪和识别在当今人机交互技术中起着重要的作用,研究它的主要目的就是为了实现既自然又直观的交互方式。 针对VCC实验室MOVE(多面沉浸式虚拟环境)系统的特点,本文将手部跟踪和识别引入到人机接口中,这更有利于系统今后的发展,使其具有更广阔的应用前景。本文的主要研究工作包括: 第一,双目视觉技术在人机交互中的应用:针对目前常用的手部跟踪设备——数据手套存在的缺陷,如价格昂贵、不灵活等缺点,本文利用摄像机拍摄的方法获取手的运动,避免了使用数据手套带来的不便,降低了对硬件的要求。双目视觉技术更易获得立体空间位置信息,因此本文基于双目视觉技术,着眼于对静态手形的识别,通过在手部设置关键点,简化了识别过程,保证了识别的实时性。 第二,手形仿真算法的研究与实现:由于人手是一个高自由度结构,而手形更是具有多样性和空间差异性等特点,这些必然增大了对人手运动仿真的复杂性。本文在分析手的运动学模型以及总结手运动约束关系的基础上,结合设计的简化计算模型,利用关节运动仿真算法推算出手指的运动位置,从而在虚拟环境中再现手的姿态,并进行了相关实验,实验结果证明了它的有效性。 第三,基于骨骼动画的手形仿真:为了让参与者体验更为真实的视觉效果,本文引入骨骼动画的原理,用更逼真的手模型映射到骨骼上,通过骨骼带动手模型运动的方式实现手形仿真,为今后在MOVE系统中实现自然交互奠定了基础。