在许多大商场、银行及部分智能小区等都有安装视频监控系统，这种监控系统基本上可以满足人们眼见为实的目的，但这种监控系统大多是基于PC机+图像采集卡，系统稳定性差，价格昂贵。本文完成了一种基于数字信号处理器(DSP)的嵌入式视频跟踪系统，该系统以ADSP-BF533为核心处理器完成视频图像中运动物体的检测及跟踪算法。 在本文中，详细介绍了机器视觉、图像处理及嵌入式系统等方面的内容，通过比较四种可以实现运动物体自动识别与跟踪的方案，设计了基于ADSP-BF533的嵌入式视频跟踪系统的实现方案，完成了软件结构及各个功能模块之间的数据流图，测试了高速球的性能；研究了嵌入式视频跟踪系统的硬件结构、云台控制协议；为在嵌入式视频跟踪系统中进行算法研究及测试打下基础。 对运动物体检测的各种算法进行了测试验证，发现在复杂背景下三帧差分法无法区分位置改变的运动物体与位置不变自身发生变化的运动物体，提出了一种背景辅助的三帧差分法，试验证明该算法可以弥补三帧差分法的缺陷，达到良好的运动物体检测效果。