近年来，人脸检测及跟踪技术作为计算机视觉和模式识别研究领域中关注的一个重要课题，具有极高的学术研究价值和商业应用价值。随着新方法、新技术的不断引入，人脸检测准确率越来越高，人脸跟踪效果越来越好，速度也越来越快。　　 本文设计了一个基于人脸检测及跟踪的三维模型实时控制系统。是一种为那些不方便使用手部主动输入设备的人群，比如老人、儿童、手部有障碍的残疾人，设计的替代交互工具。另外，有时候为了使用者更方便，引入这个工具来进行辅助交互，也可以起到很好的效果。系统包括三个主要部分：人脸检测、人脸跟踪和三维模型控制。系统通过基于AdaBoost算法的人脸检测方法检测到用户人脸，再通过我们改进后的Camshift算法对该人脸进行实时跟踪，提取人脸的运动信息，产生相应的控制指令，从而对用OpenGL绘制的三维模型进行运动控制。其中改进后的Camshift算法，更好的降低了类肤色背景的干扰，达到更准确的跟踪效果。系统中，用户只需通过人脸运动就能控制三维模型进行任意方向上的旋转、放大及缩小等动作。同时也可以控制其旋转的速度，使用户基本可以随心所欲控制三维模型运动。系统的一个重要特点是可以达到实时性，这就保证了人脸发出的指令跟三维模型的运动保持同步，达到对计算机进行交互的目的。　　 本文系统是在Windows平台Visual C++ 6.0环境下开发的，系统中使用了OpenCV、OpenGL等计算机视觉库。系统程序具有良好的可扩展性，为今后的进一步研究和应用打下了良好的基础。