作为一种自然而直观的信息表达途径，手势已经成为一种重要的人机交互方式。以人手直接作为计算机的输入设备，利用手势识别技术对计算机进行控制，将使人机间的通讯不再需要中间媒体。视觉手势识别技术涉及图像处理，模式识别，计算机视觉，人工智能等多门学科，其研究的主要目的是实现更加自然，和谐的人机交互。视觉手势识别技术可应用于虚拟现实，三维设计，医学研究，智能人机交互，智能视频监控等领域，具有极高的研究价值和应用前景。　　 本文主要研究基于单目视觉的人手检测，跟踪与识别的方法，并在此基础上构建一个视觉手势识别的原型系统用以验证整套算法的有效性。　　 视觉人手检测需克服复杂背景，光照变化等带来的影响，准确的确定视频中人手的位置。在本文中，人手的肤色和运动信息首先被用于确定视频中人手的潜在位置。接着，本文提出了一种新的运动信息描述方法——运动频次图用于确定人手的最终位置。实验证明，该检测方法能较好的应对复杂背景中人手的误检测和漏检测问题，能实现准确的人手位置的检测。　　 视觉人手跟踪需克服跟踪过程中由人手表观变化及场景变化所带来的跟踪失效问题。本文提出了一种新的在线梯度方向直方图描述子用于人手的表观建模。该描述子通过计算人手梯度分布的统计信息，并结合增量式主成分分析所具有的在线更新能力，能自适应的应对跟踪过程中所出现的实时变化。此外，本文采用经典的粒子滤波算法作为视觉人手的跟踪框架。实验证明，当跟踪过程中出现人手表观变化及场景变化时，该跟踪方法仍具有较高的鲁棒性，能准确的实现视觉人手跟踪。　　 人手识别主要基于人手的形状特征。本文采用R Transform描述子用于描述人手的形状特征。同时，一个包含五种不同手势的人手数据库被建立用于训练支持向量机分类器实现人手识别。与现存的其它人手数据库相比，该数据库样本更加丰富，且采集自复杂背景，能更好的满足实际需要。实验证明，该识别方法在复杂背景下能取得较高的识别准确率，能较好的应对实际应用场景下的人手识别问题。　　 基于上述研究成果，本文构建了一个原型的视觉手势识别系统。演示结果证明，本文所述方法能完整的实现视觉手势识别。