作为当今人们在工作和生活中不可或缺的设备之一,计算机技术在近半个世纪以来取得了诸多的成就,如体积越来越小、计算能力越来越强、数据共享和交流越来越频繁等。但是,人机交互方式却仍然没有取得彻底的变革,仍然是以鼠标和键盘为主,这对于计算机向着智能化、便捷化和人性化方向发展是不利的。体感交互是一种人们可以直接地使用肢体动作,而不需使用任何高级的控制设备,就能与身边的设备或场景进行交流和沟通的新的交互技术,其在体感游戏、健康医疗、三维虚拟现实、空间鼠标、运动监测等领域都取得了不错的应用效果。所以说,体感交互的人机交互技术是一个值得探索的研究课题。本文对体感交互中的手势识别、肢体识别等算法做了研究和探索,并将这些与机械臂控制结合起来,构成了虚拟太空环境下机械臂的人机交互系统,进行人机交互演示。本文主要包括如下内容:1.手势的检测与分割。由Kinect传感器获得深度信息,利用K inect SDK进行用户跟踪,获得双手的位置后进行图像的阈值化处理,再进行一些降噪处理,得到双手的分割结果,有效排除了背景和其他用户的干扰。2.指尖识别。将凸包凸缺陷法、曲线分析法和三点检测法3种指尖识别算法分别进行了实现,并比较其性能。对于效果最好的三点检测法,本文还做了进一步改善,漏检错检的指尖数目进一步降低,并扩充了指尖信息描述维数,指尖提取结果有了更广泛更普遍的适用性。3.静态手势识别。分别选用HOG描述符和基于SURF算法的BOW描述符进行静态手势的特征表示,用多分类SVM进行训练和学习,测试两者的识别效果。对于基于SURF算法的BOW描述符,本文进行了多组实验,从实时性、识别率等方面确定了最优参数。4.动态手势识别。提出了一个简单实用的动态手势分割方法,即通过掌心的停留时间来判断动态手势的开始和结束;对于动态手势轨迹,还提出了归一化算法对不同用户的轨迹序列进行归一化处理,减少用户间的差异性;最后利用DTW模板匹配算法进行动态手势的识别,获得了高效迅速的动态手势识别效果。5.肢体识别。用关节角度及变化来描述用户的肢体动作,降低了信息的复杂度,又提升了动作的可识别性,并用卡尔曼滤波算法进行用户关节角度的平滑处理,消除了交互过程中的许多抖动现象,使交互过程更自然。6.交互场景的实现和交互模式的设计。建立了机械臂模型,实现了机械臂人机交互场景,并设计了包含了双手的动静态手势、指尖、肢体的人机交互模式,实现了通过体感交互控制虚拟机械臂进行作业的模拟。最后,根据本文提取的相关算法编写了相关的人机交互的软件,该软件是基于MFC对话框开发的,可以实现对于动静态手势的识别、指尖检测、肢体识别、和机械臂交互等功能。