随着计算机视觉技术的快速发展,利用其解决实际问题的需求在不断扩大。其中,目标跟踪无论在安防领域或刑侦领域都起到很重要的作用,比如分析行人轨迹预测其目的地。相对于单目标跟踪,多目标跟踪更加贴合实际应用场景。对于一个系统来说,实时性和准确性需要相互平衡。如何确保一个系统在帧率满足实时性的情况下有较高的准确率,是多目标跟踪领域中一个重要研究方向,且更具有实用价值。为了实现实时的多目标跟踪系统,一个低复杂度且高效的多目标跟踪算法极其重要。基于卡尔曼滤波的DeepSORT算法是多目标跟踪领域中的传统方法,其将单目标跟踪方法推广到多目标跟踪领域。为了让系统更具有实用价值,实验围绕海思SoC芯片搭建起完整的嵌入式系统,实现实时的多目标跟踪。利用海思SoC实现了视频流处理、检测网络Yolov4-tiny的实现及其运算加速。最后将检测结果送给后续的多目标跟踪算法,实现多目标跟踪。主要的研究内容如下:（1）本文提出了基于Yolov4-tiny的改进型网络,在满足运行效率的前提下,达到更高的检测精度。Yolov4-tiny网络直接减少Yolov4的网络层,虽然速度提升较多但检测结果粗糙。在原网络的基础上添加两种轻量型的网络结构:在卷积通道中添加挤压-激励模块让网络选择通道中较为重要的特征,抑制不重要特征,实现通道中特征的融合。另外对主干网络输出的特征图利用空间金字塔池化结构实现空间上特征的融合,为后续网络提供不同尺度且信息更加丰富的特征图。（2）利用芯片中神经网络引擎实现了检测网络的部署并得到检测结果。工作分为:第一,利用Vector Comparision仿真工具验证网络模型在硬件平台上的有效性和准确性;第二,改动海思网络模型;第三,实现板端数据预处理和维持板端与Opencv库色彩空间的一致性;第四,归纳出NNIE精度问题定位的方法。（3）利用海思SoC及FPGA搭建硬件平台,并基于416×416@58FPS的目标检测算法完成了1920×1080视频流在板端的多目标跟踪任务,达到了较高精度下的高帧率性能。设计了实时视频流系统的媒体流向,实现高效的显示和计算;其次,利用目标检测算法和DeepSORT算法在芯片中实现多目标跟踪,包括使用Eigen库完成板端矩阵运算加速等工作。