随着计算机的发展与应用,人与计算机的交互越来越密切,人机交互技术随之应运而生并极大的改变着人们的工作和生活方式。手势交互作为人机交互技术中重要的一环也越发引起科学家们的关注,如何实现自然、和谐、实时的手势交互已经成为手势交互领域研究的热点问题。基于视觉的手势交互不需要人手佩戴任何电子传感设备,仅需一个或多个摄像头对人手进行跟踪和识别来完成手势交互,因而满足自然、和谐的交互方式。在基于视觉的手势交互系统中手势识别技术决定交互能否顺利完成。基于视觉的手势识别是指利用摄像头捕获人手图像并把图像信息传输到计算机中,经过图像处理算法让计算机判断出人手的交互意图并执行对应的指令从而完成最终的人机交互。手势检索的实时性也影响着交互的自然性,如何实时的对人手进行检索和识别是本文的核心研究目标。从理论上说,在单目摄像机条件下,让用户的实时手势动作与检索出的对应3D动画可视化过程保持一致,是一件极有挑战性的工作,具有重要的学术价值;从应用背景的角度看,3D交互界面是未来人机界面的重要发展趋势,故这种研究对于构建自然手势输入的三维直接操控界面研发具有巨大的潜在应用价值。本论文依托国家自然科学基金(No.61173079,No.61472163),山东省自然科学基金重点项目(No.ZR2011FZ003)等项目基金的支持,对单目摄像头下用户基本手势实时检索方法进行了研究。本文具体研究内容及创新点如下:(1)实现了基于肤色特征的手势分割方法。首先选取YCrCb颜色空间,然后应用高斯混合模型进行肤色建模,并根据阈值法完成手势的分割。在手势初始化阶段对手势肤色区域进行实时采样,接着根据采集的样本计算出高斯混合模型的各个参数,这种方法增加了对光照条件的适应性,减小了光照对手势分割的影响。(2)提出了基于手势主方向的特征提取方法。手势主方向是指从手势重心点到手势最远点的一个方向向量,提出手势主方向的目的是保证手势特征提取的一致性,解决手势在发生缩放、平移和旋转等情况下给手势识别带来的问题。在手势预处理阶段,首先把分割出来的手势图像进行标准化处理,使之在手势识别阶段不受手势缩放的影响,然后在标准化手势图像中求出手势的主方向,并依据手势主方向建立二维手势直角坐标系对手势进行特征提取。(3)提出了手势二进制描述子的概念。由于在运算复杂度和存储开销方面二进制描述子都有着很大的优势,有利于实时性的运算。为了提高手势识别阶段手势检索的速度本文提出了手势二进制描述子的概念。手势二进制描述子用一个二进制串表示,其中二进制串的每一位代表一个维度,用于表示一个手势特征区域中手势特征点数目的信息,从而整个二进制字符串就反映了整个手势区域中手势特征的信息。(4)本文通过大量统计实验求证了动态交互语义手势存在一定的规律性。在手势抓取的过程中,手势像素点个数线性减少;手势放开的过程中,手势像素点个数线性增大;平移过程中手势像素点个数线性不变;旋转过程中手势像素点个数先线性减少后线性增大。因此,在手势检索之前可以先根据此规律识别出交互语义手势的类型,缩小手势检索的范围,从而进一步提高了手势检索的速度。(5)本文提出了一种基于手势二进制描述子和类-Hausdorff距离的手势检索算法。首先,利用手势主方向提取手势特征,然后根据交互语义手势的规律性初步识别手势的交互类型,接着应用手势二进制描述子匹配算法从三维手势动画库中筛选出一些候选手势动画,最后用类-Hausdorff距离方法从候选手势动画中检索出与用户交互意图相一致的手势动画。实验结果验证了本文算法具有很好的实时性,同时也能保证较高的手势识别率。