近年来，人机交互日趋成为国内外研究的热点之一。用户与虚拟系统的交互也成为人们探索的重点。人手作为人类交流的一种重要方式，自然而然成为科学家们的兴趣点之一。如何通过人手指令信息与虚拟系统进行交互是一项重要的研究课题。传统的人机交互多借助于诸如数据手套、位置跟踪仪之类的外部设备进行交互。这些交互方式比较笨重繁琐，限制了人类的交互自由，违背了人类自然交互的意愿。基于视觉的手势交互通过对自然人手的动作信息进行捕捉完成同虚拟系统的交互任务。基于视觉的手势交互一般仅需要一个或者多个摄像头来记录手势信息，人手不需要佩戴其他电子设备，摆脱了可穿戴式电子设备的束缚。基于视觉的手势交互研究一般包括手势分割、跟踪、特征提取和识别四个部分。手势识别在人机交互领域占有十分重要的地位。准确的手势识别能够保证交互的顺利进行。本论文依托国家自然科学基金(No.61173079)“基于认知机理和手势动画的三维人机交互界面研究”和山东省自然科学基金重点项目(No.ZR2011FZ003)“面向自然人手跟踪的3D人机交互界面中的关键问题研究”项目基金的支持，对单目摄像头条件下的手势识别问题进行了研究。具体研究内容如下：(1)建立了基于单目摄像头的虚拟装配平台。主要运用OpenGL、OpenCV、3DMAX等技术实现该装配平台的搭建与组装。通过摄像头获取人手的图像信息，虚拟系统接收到人手图像信息后对其进行分析处理，并根据得出的手势分析结果作出相应的交互反应。(2)手势分割和特征提取是手势识别的重要前提。本文对RGB空间下获取的手势肤色特征进行高斯建模，采用训练好的高斯模型进行手势分割。特征提取方面，我们使用了基于二值图像的密度分布特征方法和轮廓点检测方法进行提取。密度分布特征的方法具有平移不变性、缩放不变性和旋转不变形的优点，轮廓点检测的方法能够将指尖有效地提取出来，从而得到比较准确的手势图像特征参数。(3)本文提出了两种语义手势识别方法：区间比例算法和图像融合法。首先提出了一种语义手势的概念，并对其进行了简单的分类。区间比例方法通过对手势图像的有效分区获得有效特征，并采用欧氏距离的方法进行手势识别；图像融合法则是将语义手势的所有动态图像信息融合在一幅图像中，通过对一幅静态图的识别完成语义手势的识别。这两种方法都有令人满意的识别效果。(4)本文将认知心理学的相关理论成果用于本文的研究，提出了一种认知行为模型进行语义手势的识别。首先，分析本文建立的虚拟雪人装配场景，设置手势的识别点，选用大量的实验者来获取认知信息，并训练基于该交互场景的转换概率矩阵，获得稳定的转换概率矩阵。然后在该场景下重复本文定义的语义手势动作，获取语义手势的DDF特征，为每一种语义手势建立基于DDF特征的HMM模型，从而建立了基于特定交互场景的认知行为模型。模型建立后，进行多次试验对语义手势进行识别检验。实验结果表明，基于认知行为模型的语义手势识别能够很好地适应特定的交互环境，同时具有较高的识别率和较好的时间效率。