论文部分内容阅读
字符输入是人机交互(HCI)领域的一个相当重要的方面。总的来说,目前主流的输入系统都有着各自的局限性。它们基本都依赖于一定的硬件设备,比如:触摸屏、键盘等。这些接触式的设备在一定程度上制约着用户的自由、远程操控。人机交互的一个重要目标是使得计算机更加智能,并且缩减用户与计算机之间的鸿沟。为了能够提升手写输入系统的体验和令其更加地自然和用户友好,本文提出了一种新颖的,基于Kinect设备的空中虚拟手写系统。使用这个系统的时候,用户可以将自己的指尖视为一个虚拟的笔锋,通过在空中的虚拟自由划写来完成字符的输入任务。它将Kinect作为成像的采集传感器,来追踪和分析用户的手写行为,除此之外无需借助其他的设备。它强调的是一种裸手的、非接触式的手写输入系统。本文的主要工作和贡献如下所示:1.我们首创性地提出和实现了一种空中虚拟手写系统。它是一种裸手非接触式的应用,能够给予人更简易和自然的手写输入体验。2.我们提出了一种混合模型用于视频人手分割,它借助神经网络技术将三个子模型智能地融合起来。算法可以处理传统基于视觉的模型所面临的技术难题,如脸手交叠、光线变化等。同时也解决了Kinect自身伴随着的,彩图-深度图信息两者不同步问题。3.我们提出了一种双模式切换算法用于系统当中的指尖定位。这种方法对前一步人手误分割有着很好的鲁棒性。同时可以应对在手写过程中高自由度的手部姿态。4.然后,将连续视频帧里使用指尖定位算法得到的指尖位置串接在一起,重构为手写的字符笔画。字符被输入到一个目前业界领先水平的识别引擎得到识别结果的输出。5.与此同时,本文设计了一套专用的手势,用于用户与这个虚拟手写系统的交互。手势被设计为类似于身体语言从而能够易于被用户掌握上手。最后的实验表明,对于本文的虚拟手写系统,在前5个候选字范围内,输入的汉字、大小写英文字母、数字都能达到90%以上的识别精度。系统的处理速度可达20帧每秒。大体来说,系统能够满足日常的使用需求。