人脸检测和跟踪是人脸信息处理的第一步。本文研究了视频图像序列中人脸的自动检测和跟踪算法。首先系统地总结了关于视频图像序列中人脸检测和跟踪的理论基础和前人的工作。然后，介绍了一种在有背景灰度人脸图像中无需先确定人脸位置而直接检测与定位人眼的新算法，并将此算法引入到视频中。该方法首先基于人脸几何特征先验知识建立了人眼位置的判定准则，其次基于图像分割原理，对能够分割出人眼的阈值范围进行粗估计，然后采用分割阈值递增法，并结合人眼位置判定准则检验和判定分割图像中双眼黑块是否出现，最后利用二维相关系数作为对称相似性测度，检验检测出的双眼的真实性。本文还研究了运用肤色信息进一步提高人眼定位准确性的方法。同时通过大量实验来验证所提出的人眼检测与定位算法性能。最后本文提出了一种基于运动预测与直方图匹配和基于肤色模型验证的人脸跟踪算法。其中，人脸跟踪过程中的匹配阶段是采用人眼区域图像灰度直方图的中心矩匹配法来进行匹配，并结合运动预测减小模型匹配的搜索空间，在后续帧中快速找到最佳匹配来估测新的人脸定位；人脸跟踪过程中的验证阶段是基于整个人脸图像肤色模型并采用Mahalanobis距离测量的方法，所用肤色模型可以随着被跟踪目标人脸的变化需要及时更新。实验表明，本文提出的算法可以达到较好的人脸跟踪效果，系统跟踪速度达到12～19帧/秒，基本达到实时。