监控视频中的异常行为检测与目标跟踪是模式识别领域长期以来的研究热点之一。近年来,随着各种视频监控设备的日益普及,现有检测与跟踪算法的性能已有了长足进步。但是,由于拥挤场景视频的复杂性,如存在噪音、视角变换、杂乱背景甚至光照的变化等,大多数现有方法并不适用于拥挤条件下的检测与跟踪。本文针对拥挤场景视频中的异常行为检测和目标跟踪进行了深入研究。在异常行为检测方面,本文提出了一种基于深度图像和时空上下文模型的异常行为检测算法。我们首先用深度相机提取视频中的深度信息,然后将整个视频分成时空小方块,进而提取各个小方块中的运动原型,并在相邻的时空运动之间建立上下文关系,接下来使用马尔可夫随机场对运动模式间的共现关系进行刻画。最后,本文采用对运动模式的统计偏离计算来检测拥挤场景中的异常行为。在拥挤场景中的物体跟踪研究方面,本文着重解决了在拥挤场景中经常发生的遮挡而导致物体跟踪失败的问题。通过观察,我们发现在一个拥挤场景中因为人群相对密集,尤其是在局部范围内多人会聚集在一起,同时聚集的人群的运动往往又具有相似性。这些具有相似性的多个物体可作为跟踪目标的运动参考,从而有效提高拥挤场景中目标跟踪的鲁棒性。受此启发,本文通过对物体的运动分析来对物体外观进行建模,同时借助对场景的上下文时空建模来判断追踪物体何时出现遮挡,并进一步据此分割出与物体有相似运动的显著区域来作为辅助追踪线索,实现拥挤场景视频中的鲁棒追踪。在多场景视频数据集上的实验表明,本文所提出的基于深度和时空上下文模型异常检测算法,以及基于目标运动分析和运动背景刻画的跟踪算法在拥挤场景中取得了预期效果。