跨摄像机行人识别与轨迹挖掘

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:stong_sz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来视频监控在安防领域得到了广泛应用,与之紧密相关的智能视频分析技术的研究成果也大量出现。然而现有的大多数研究都集中在单一摄像机领域。虽然利用多摄像机获取大范围视频信息的手段在实际应用中已经很普遍,但是研究领域相对滞后,缺乏有效的算法关联多个摄像机之间的信息。传统的高度依赖人工操作的多个视频处理方式在处理海量视频信息时效率极低,而多摄像机信息的融合能够为安防监控提供很多帮助。因此,计算机视觉领域新兴的跨摄像机行人识别(行人再辨识)引起了越来越多研究者的关注。为了进一步满足安防监控的实际应用需求,我们提出了轨迹挖掘的概念,旨在从宏观角度上解决感兴趣目标在多摄像机网络中的轨迹描述问题。行人再辨识是个困难的任务,仍有很多问题有待解决,例如跨摄像机造成的光照、视角、姿态和遮挡等变化,海量数据标注问题以及模型的通用性等。作为新概念的轨迹挖掘则有很多方面待完善,例如数据库收集、问题建模方式和轨迹评估方式等。  本文针对监控场景下的跨摄像机行人识别进行了深入研究,包括设计性能优异的行人特征表达、由训练集学习适合的距离测度、使用深度学习方法同时解决特征和分类器设计以及跨数据库测试等问题。行人再辨识是轨迹挖掘的重要组成部分,讨论完这个问题后,接着针对轨迹挖掘做了大量工作,包括概念的讨论和明确、轨迹挖掘数据库采集、基于表象和时间信息的轨迹挖掘方法和输出结果测试协议等。本文的研究工作和贡献主要包括如下内容:  1)提出了基于结构信息的多特征融合行人再辨识方法SCEFA,涉及到的三个特征在提取或者匹配时考虑行人的结构信息以提升特征的分辨能力和减少背景信息的干扰。加入的行人结构信息按照由小及大的顺序分为几个层次:像素级(pixel-level),斑点区域级(blob-level)和有语义的部件级(part-level)。SCEFA方法侧重于特征的提取及其对应的匹配方法,在不使用训练数据的情况下取得了很好的性能。该方法对应用场景的依赖性较低,有较好的通用性。提出了基于局部最大出现模式的特征提取与度量学习的行人再辨识方法。该方法中的局部最大出现模式(LOMO)特征设计方法对于跨摄像机造成的光照变化和视角变化做了针对性处理,而且仅仅使用了简单的SILTP和HSV空间颜色直方图特征,具有很快的计算速度。然后同时学习最优子空间和该空间下的距离度量(XQDA),从而得到了更适合计算特征相似度的距离测度。该方法在多个常用行人再辨识数据库上对比了较多现有的方法。大量的实验结果表明该方法的特征设计和度量学习都非常高效,总体性能超过了现有的最好结果,特别是rank-1的识别率提升幅度较大。  2)提出了之前未受到足够重视的跨数据库行人再辨识问题,并通过使用卷积神经网络学习行人的特征表达的方式解决该问题。详细阐述了所使用的网络结构、参数设置和训练过程。多个测试集上的实验结果表明本文的方法学习到的行人特征表达具有很好的通用性,也为行人再辨识领域的行人特征表达问题提供了一个具有很好性能的通用解决方法。另一方面,通过对使用不同训练集学习到的行人特征表达进行性能评估,对使用卷积神经网络解决类似问题时的训练集选择提供了帮助。  3)提出了安防领域中有直接应用需求的新任务轨迹挖掘。详细讨论了轨迹挖掘的概念、应用场景及与现有工作的联系与区别。接着介绍了自采集的TMin轨迹挖掘数据库,包括图像采集设备、采集环境布局和图片处理过程等。TMin数据库的发布为轨迹挖掘的研究提供了必要条件,有利于促进该方向的进一步发展。最后介绍了基于颜色信息和时间信息的轨迹挖掘方法。该方法使用加权颜色直方图作为行人的特征表达,并使用训练集数据学习行人在直接相连摄像机之间的转移时间分布,再将这两部分信息结合起来挖掘目标的运动轨迹。  综上所述,本论文针对跨摄像机行人识别和轨迹挖掘中涉及的多个模式识别与计算机视觉基本问题作了有益的探索,为多摄像机智能视频监控提供了初步的应用基础。
其他文献
用WEB技术访问管理资源已成为信息时代发展潮流,它不仅推动了Internet/Intranet的发展,也使一种新的计算模型Browser/Server应运而生.Browser/Server计算模型不仅能提供传统C
在控制领域,最优控制一直是理论方法和工程实践的一个重要研究方向.它要求找到一个使性能指标最大(或最小)的控制策略.强化学习(ReinforcementLearning,RL)能够有效解决最优控制
复杂场景下的目标跟踪是计算机视觉领域中的研究热点之一,是高层行为理解和视频分析的基础。在基于视频的安全监控、智能交通信息系统、视频内容分析和检索、人机交互等方面具
该文集中讨论了采用无导数直接迭代方法求解方程组的人一维空间迭代收敛加速的埃特金(Aitken)法几何意义入手,推广到n维空间,拓宽了迭代收敛加速的埃特金(Aitken)法的应用范
随着带拍照功能的移动智能终端的广泛普及和互联网技术的迅猛发展,我们已经步入“移动互联网时代”和“读图时代”,拍照检索日渐成为人们对真实世界检索的重要入口之一。  在
交联振荡器系统的相锁和停振等现象的研究已有十多年的历史.该文从交联振荡器系统理论出发,从数学上发展了已有的交联振荡器的单向交联、多重交联等理论,系统地研究了连通交
论文的主要研究方向是充分利用现有MIS管理系统和已投运的软硬件设备,创建面向物料管理的数据仓库,并给出该数据仓库的OLAP(在线分析处理)应用设计与实现.首先,论文阐述了物
该文研究了基于遗传算法的非线性系统辨识.首先,描述了遗传算法的基本原理和应用,以及该文用到的改进遗传算法.其次,讨论了非线性系统辨识方法和它的发展现状.然后,给出了应
该文是以上海梅山集团公司物资库存管理与控制为背景,根据梅山的具体情况,将传统与现代库存管理思想和方法相结合,研究制定库存控制优化方法.重点对以下思想进行拓展运用:市
该文的主要目的就是针对线性时延系统,设计控制效果较好、鲁棒性较强的控制器.为了深入地研究线性时延系统,首先从理论角度出发,研究了不同情形下线性定常时延系统的稳定性判