论文部分内容阅读
近年来视频监控在安防领域得到了广泛应用,与之紧密相关的智能视频分析技术的研究成果也大量出现。然而现有的大多数研究都集中在单一摄像机领域。虽然利用多摄像机获取大范围视频信息的手段在实际应用中已经很普遍,但是研究领域相对滞后,缺乏有效的算法关联多个摄像机之间的信息。传统的高度依赖人工操作的多个视频处理方式在处理海量视频信息时效率极低,而多摄像机信息的融合能够为安防监控提供很多帮助。因此,计算机视觉领域新兴的跨摄像机行人识别(行人再辨识)引起了越来越多研究者的关注。为了进一步满足安防监控的实际应用需求,我们提出了轨迹挖掘的概念,旨在从宏观角度上解决感兴趣目标在多摄像机网络中的轨迹描述问题。行人再辨识是个困难的任务,仍有很多问题有待解决,例如跨摄像机造成的光照、视角、姿态和遮挡等变化,海量数据标注问题以及模型的通用性等。作为新概念的轨迹挖掘则有很多方面待完善,例如数据库收集、问题建模方式和轨迹评估方式等。 本文针对监控场景下的跨摄像机行人识别进行了深入研究,包括设计性能优异的行人特征表达、由训练集学习适合的距离测度、使用深度学习方法同时解决特征和分类器设计以及跨数据库测试等问题。行人再辨识是轨迹挖掘的重要组成部分,讨论完这个问题后,接着针对轨迹挖掘做了大量工作,包括概念的讨论和明确、轨迹挖掘数据库采集、基于表象和时间信息的轨迹挖掘方法和输出结果测试协议等。本文的研究工作和贡献主要包括如下内容: 1)提出了基于结构信息的多特征融合行人再辨识方法SCEFA,涉及到的三个特征在提取或者匹配时考虑行人的结构信息以提升特征的分辨能力和减少背景信息的干扰。加入的行人结构信息按照由小及大的顺序分为几个层次:像素级(pixel-level),斑点区域级(blob-level)和有语义的部件级(part-level)。SCEFA方法侧重于特征的提取及其对应的匹配方法,在不使用训练数据的情况下取得了很好的性能。该方法对应用场景的依赖性较低,有较好的通用性。提出了基于局部最大出现模式的特征提取与度量学习的行人再辨识方法。该方法中的局部最大出现模式(LOMO)特征设计方法对于跨摄像机造成的光照变化和视角变化做了针对性处理,而且仅仅使用了简单的SILTP和HSV空间颜色直方图特征,具有很快的计算速度。然后同时学习最优子空间和该空间下的距离度量(XQDA),从而得到了更适合计算特征相似度的距离测度。该方法在多个常用行人再辨识数据库上对比了较多现有的方法。大量的实验结果表明该方法的特征设计和度量学习都非常高效,总体性能超过了现有的最好结果,特别是rank-1的识别率提升幅度较大。 2)提出了之前未受到足够重视的跨数据库行人再辨识问题,并通过使用卷积神经网络学习行人的特征表达的方式解决该问题。详细阐述了所使用的网络结构、参数设置和训练过程。多个测试集上的实验结果表明本文的方法学习到的行人特征表达具有很好的通用性,也为行人再辨识领域的行人特征表达问题提供了一个具有很好性能的通用解决方法。另一方面,通过对使用不同训练集学习到的行人特征表达进行性能评估,对使用卷积神经网络解决类似问题时的训练集选择提供了帮助。 3)提出了安防领域中有直接应用需求的新任务轨迹挖掘。详细讨论了轨迹挖掘的概念、应用场景及与现有工作的联系与区别。接着介绍了自采集的TMin轨迹挖掘数据库,包括图像采集设备、采集环境布局和图片处理过程等。TMin数据库的发布为轨迹挖掘的研究提供了必要条件,有利于促进该方向的进一步发展。最后介绍了基于颜色信息和时间信息的轨迹挖掘方法。该方法使用加权颜色直方图作为行人的特征表达,并使用训练集数据学习行人在直接相连摄像机之间的转移时间分布,再将这两部分信息结合起来挖掘目标的运动轨迹。 综上所述,本论文针对跨摄像机行人识别和轨迹挖掘中涉及的多个模式识别与计算机视觉基本问题作了有益的探索,为多摄像机智能视频监控提供了初步的应用基础。