公路交通的要素在于畅通、安全,而道路异常事件严重危害公路安全。除了在沿路安设地感线圈、雷达等监测设施外,目前公路管理主要依靠大量的监控摄像实时掌控低速、超速、拥塞、违停、危险品车等异常事件。为取代人工监看,实验室前期研究了基于背景建模的监控视频解析方式,并应用于沪宁高速等处。然而在复杂的路网环境中存有不足,在承担省域路网的视频监控的示范工程等项目中尤为凸显,除了雨雪、遮挡、光线及摄像机运动视角变化等外界因素,主要在于所采用的背景建模方法的局限性:利用帧间像素差异变化的解析方法,“前景目标”往往融入“背景”中,其分辨能力弱,抗干扰能力差,漏检和误报较多。故而另辟蹊径,采取了基于目标识别、特征提取的机器学习方法。然而路网的交通监控视频海量,样本空间大,计算愈加庞杂,难以满足实时性要求;若简单采用浅层特征表示,可减少计算量,但车辆繁多,环境复杂,又会产生精度不够,鲁棒性和泛化能力下降等问题。为此,文中依托多项交通物联网省级项目,结合江苏路网的具体环境,展开综合深度特征的视频检测关键技术研究,进而构建应用系统。视频检测及细化的具体内容,主要包括车均速/流量/道路占有率等交通流参数、车辆拥堵/排队/违停/行人/路面遗留物等检测,以及以危险品车为代表的特种车辆识别预警等等,需针对性解决的,或需深化研究的技术问题有:●雨雪、遮挡、光线变化、视角变化等场景下的识别率下降;● 前景运动目标融入背景的漏检;●浅层特征依赖具体场景和先验知识,而深度学习训练样本量大,计算耗时高;●就无先验、静止路面遗留物,如何利用路面先验反向识别目标;●如何训练和构建辨识性能高、计算速度快的图像字典:考虑图像簇块聚类降低数据维数;提取漏检/误报先验样本,离线训练+在线反馈的字典自学习;●多源图像数据融合应用问题。论文以先导知识为铺垫,描述了交通异常事件视频检测的背景意义、内涵及实际需求,介绍了交通视频检测的国内外研究现状,分析了基于背景建模算法的局限性;指出了交通视频异常事件检测的难点;阐述了基于机器学习的交通视频分析基础理论:交通图像特征表示一般方法、稀疏字典学习及特征求解过程等。文中就浅层特征在复杂场景复杂性出现鲁棒性和泛化性下降,人工特征耗时高而难以适应海量视频分析等状况,提出了基于局部簇块聚类的判别性稀疏编码DSC-LCP,解决稀疏编码用于实际工程中的时效性等内容。文中具体就DSC-LCP特征表示方法,提出了“离线训练+在线检测+增量式学习”模型,以节省训练时间,提高训练样本的自适应学习能力,其实现车辆识别与分类。对比实验验证了分类准确率和时间效率;并就基于改进背景建模与DSC-LCP特征,将车辆跟踪算法简化为目标提取、特征表示、目标跟踪三个步骤,实现了实时车辆跟踪。经高速公路监控视频检测对比验证,结果表明:论文方法与经典算法相比,跟踪准确率和跟踪速度占有明显优势,克服了跟踪算法中由误差积累引起的目标飘移普遍性问题。文中就背景建模方法对静止目标难以捕捉识别,而机器学习方法对无定型目标又难以训练的问题,提出了基于Deep-CNN的路面识别算法模型,以路面—非路面分级识别提取;进而构建了基于Caffe的Deep-CNN路面深度学习模型,实现道路占有率/拥堵/排队、违停/逆行、路面遗留物等检测。文中就视频数据的融合,研究了多摄像机视频融合、多特征/算法视频融合、与其他数据源融合;移动环境中,移动终端的上下文感知、多传感器感知与视频语义的移动终端发布。基于上述关键算法的实现,进而构建了异常事件视频解析应用系统。其主要功能模块包括:基于DSC-LCP车型分类与跟踪的计数、均速、占有率等交通流参数提取;基于交通流数据的道路拥堵实时检测/预测;桥隧等关键路段危险品运输车辆实时检测与预警;基于Deep-CNN路面识别模型的违停/行人/拥堵排队/道路遗留物检测,以及移动终端上下文解析与发布。论文具有强烈的工程应用背景。研究成果已应用于“江苏省交通物联网系统示范工程”项目。该示范工程得到“国际先进、国内领先”鉴定验收意见。其创新点或特点主要有:●综合了稀疏自动编码与深度卷积神经网络的交通图像特征表示与提取算法。借综合交通目标与路面特征提取,实现基于自动深度特征的道路拥堵、危险品车、违停等交通异常事件检测,弥补浅层特征选择的局限性,满足检测精度要求。●提出了基于局部簇块聚类的判别性稀疏编码DSC-LCP图像特征模型。借正负样本网格化局部簇块聚类,训练关键图像部件字典,大幅降低数据维度。实验表明:在车型分类与跟踪的求解速度和辨识性能,显优于稀疏编码特征经典算法。●提出了“离线训练+在线检测+交互反馈增量学习”交替训练方法。系统采用自学习的交互反馈运行方式,闲时增量式训练字典集及分类器参数,不断将误检与漏检样本扩充到训练样本。最终减少了深度稀疏特征的目标检测与跟踪时间开销。●提出了基于Deep-CNN的路面目标反向识别算法。采用Deep-CNN训练路面/非路面网格化模型,以基于深度学习模型Caffe方式,对路面/非路面网格识别,分级反向提取目标。解决了路面静止目标与无先验目标的识别,实现遗留物等异常事件检测。