手势是人们生活当中一种自然而直观的人际交流模式,随着人机交互逐渐向以人为中心转移,对手势识别的研究也逐渐成为人们研究的热点。它为使用者提供了虚拟环境之间进行自然交互的手段,这是人们最渴望的人机接口技术。 然而,由于手势本身具有的多样性、多义性、以及时间和空间上的差异性等特点,加之人手是复杂变形体及视觉本身的不适定性,因此基于视觉的手势识别是一个极富挑战性的多学科交叉研究课题。 手势分为动态手势和静态手势,动态手势定义为手运动的轨迹,而静态手势强调通过手型传递一定的意义。本文研究的实时手势识别以特定的手型表示特定的意义,同时一定的动作产生一定的结果。本文结合上海市自然科学基金资助课题“手势识别和手势合成”,对实时手势识别及其在人机交互上模拟鼠标操作的应用进行一定的研究。 本文的实时手势识别和应用的过程大致分为五个部分:视频实时采集、图像预处理、手势图像特征提取、识别和人机交互(鼠标驱动)。在视频采集部分,我们采用USB摄像头对手势进行摄取,结果为320*240像素的32位真彩色位图。在手势图像预处理部分,对采集的图像进行各种处理,包括灰度化、二值化、平滑,轮廓提取等操作。 在手势特征提取,本文采用了基于手势图像几何特征的方法,分析各种手势在图像空间的分布特征,统计像素点的直方图分布规律,最后在其中挑选了几种具有很大区分度的特征,其中既有局部特征,又有整体特征。识别方法本文采用最后通过基于拒绝策略的决策树的方法进行识别,通过对几个特征的层层决策,判定手势的类型,把识别结果通知驱动模块。最后,驱动模块比较前一帧的识别结果,用一定的判定规则最终确定相应的消息响应,形成相应的鼠标操作效果。 采用以上的方法,在实验中对一段视频的600个连续手势进行识别。在识别准确度上,各种定义手势的识别率为73.99%,而产生的交互响应正确率为100%;在时间上,系统响应延时基本保持在0.5秒之内,基本上达到人机交互的基本要求和实验的期望结果。