我国水路资源丰富,有绵长的海岸线和众多的内河航道,保障船舶航行安全,提高航行效率一直是航运领域的研究热点,各种船舶监管系统有着十分重要的应用价值。目前已经得到成熟应用的船舶监管设备,如AIS和雷达等,在船舶监管监控领域发挥了重要的作用。近些年,随着计算机视觉技术在目标识别跟踪上取得的研究进展和成果,基于计算机视觉的船舶监管系统作为上述监管设备在船舶监管领域的补充,具有十分重要的应用价值。经大量学者的多年研究,一些鲁棒性强的基于人工特征提取和背景建模的目标检测算法已经应用到船舶目标检测上来,但是这种针对固定背景的运动目标检测算法无法适应背景多变的船舶检测跟踪任务,算法易受光照、波浪以及遮挡等问题的影响。现阶段基于卷积神经网络的目标检测跟踪算法日渐成熟,由于卷积神经网络算法通过卷积计算的方式提取图像中的特征,因此可以很好地应对复杂的水面情况,但是算法的网络结构复杂,计算量大导致算法的检测效率不高。为解决对船舶目标识别跟踪过程中的实时性的问题,提高基于卷积神经网络的目标检测算法的检测效率,本文利用轻量化的网络结构对基于卷积神经网络的目标检测算法进行了改进,提高算法的目标检测效率,通过卷积神经网络算法结合滤波算法的方式实现在线识别跟踪。本文主要研究内容如下:首先完成Tensorflow和OpenCV开发环境的搭建;研究灰度化、膨胀和腐蚀等图像预处理技术;对KNN背景消减法、三帧差分法进行了复现,并利用实际巡逻船视频测试算法目标检测效果。其次,使用Python爬虫技术收集船舶图像数据,使用图像增强技术丰富数据,构建船舶数据用于基于卷积神经网络的算法模型的训练,实现对具体船舶进行分类的目的。然后对基于卷积神经网络的轻量化结构进行研究。基于InceptionV2轻量化网络结构,对Faster R-CNN算法的特征提取部分进行了改进,优化算法结构,提高算法检测效率。使用MobilenetV2轻量化网络结构改进SSD算法,改进算法的骨干网络,提高算法的检测效率。最后利用卡尔曼滤波算法结合SSD_MobilenetV2算法实现对船舶目标的在线识别跟踪。在视频输入后,使用基于卷积神经网络的目标检测算法对视频帧中的船舶目标进行检测,使用卡尔曼滤波器作为跟踪器对船舶目标位置进行预测跟踪;利用匈牙利算法解决检测框与跟踪器匹配的问题,确定检测框与跟踪器之间的最优关联,实现多目标跟踪;通过流媒体服务器的方式将识别跟踪结果在终端展示。通过以巡逻船视频作为实验对象对算法的识别跟踪效果进行验证,结果表明SSD_MobilenetV2算法结合卡尔曼滤波的方式在识别跟踪上能够做到较高识别率和较好的跟踪效果,在做到精确检测的同时,能满足在线识别跟踪的实时性要求,从而满足船舶视频监管系统的识别跟踪需求,具有应用价值。