论文部分内容阅读
目标跟踪作为计算机视觉领域的一个重要研究课题,在智能监控、智能交通、生物医学、农业和军事等诸多领域有着广阔的发展和应用前景。近年来目标跟踪技术的研究取得了很大进步,深度学习在该领域的应用得到迅速发展,尽管如此,目标跟踪仍然面临着一系列的挑战,例如目标形变大、摄像机视角变化大、目标遮挡、目标尺度多变、目标运动速度过快、图像分辨率低、实时性要求等等。特别是在无人机目标跟踪领域,由于机载的计算资源、电池容量和无人机最大负重等条件的限制以及低功耗要求等,基于深度学习的目标跟踪算法在无人机上的部署仍缺乏可行性。基于判别相关滤波器的目标跟踪算法因兼顾跟踪精度的同时具备较高的CPU速度,尽管跟踪精度不及基于端到端的深度学习的目标跟踪算法,仍受到研究者和技术人员的广泛关注,特别是在无人机目标跟踪领域备受欢迎,因此具有重要的研究价值和应用前景。虽然基于判别相关滤波器的目标跟踪算法相比于传统的目标跟踪算法已经有了明显的性能提升,但是此类算法仍存在一些需要深入研究的问题。例如相关(卷积)算子的平移等变性不能忠实地反映目标平移的问题,其对称性会降低模型的可伸缩性的问题和判别相关滤波器目标跟踪算法中广泛采用的判别尺度估计不够精确的问题等。针对这些问题,本文提出了广义平移等变性和弱广义平移等变性的概念,对卷积算子进行了推广,提出了非对称卷积算子以及由其构造的非对称判别相关滤波器,并提出了求解算法及改进的求解算法,另外,还基于GrabCut图像分割算法对判别尺度估计进行了改进。本文的具体工作和研究成果主要包括以下几个方面:1.证明基于相关算子构造的判别相关滤波器与基于卷积算子构造的滤波器(本文称为判别卷积滤波器)的等价性;提出广义平移等变性与非对称判别相关滤波器。基于判别相关滤波器的跟踪算法将目标跟踪转化成目标的特征模板与检测样本的候选区域进行匹配的问题,而相关滤波器提供了计算匹配相似度的手段。卷积运算通常用来表示一个观测系统对输入信号的作用过程,但实际上卷积滤波器同样可以实现跟踪的目的。此前没有文献严格讨论过二者的关系。本文证明了基于相关算子构造的判别相关滤波器与基于卷积算子构造的判别卷积滤波器,在理想滤波器响应为2D中心对称的高斯函数并且存在最优解的条件下,从估计的最小均方误差相等的意义上说是等价的。判别相关滤波器中卷积(相关)算子的平移等变性保证了当检测样本仅代表目标时,滤波器响应忠实地反映目标的平移。然而,循环卷积(相关)是一种对称算子,即被卷积(相关)的两个有限离散信号以相同的周期展开,交换两个信号的位置卷积(相关)结果不变。循环卷积(相关)算子的这种对称性给跟踪应用带来了不能忽视的问题。一方面,对称性要求滤波器的大小等于样本的大小,这降低了模型的可伸缩性,因为滤波器参数的数量和模型的复杂性随着样本的大小非线性增长。另一方面,卷积(相关)的平移等变性是用整个样本来定义的。如果样本大小与目标大小的比率大于1,则样本中包含背景,此时滤波器响应将不反映目标的平移,而是反映目标和背景混合的变化。然而,在目标跟踪领域,这一问题没有得到足够重视,甚至被完全忽视了。这一问题使得基于判别相关滤波器的跟踪算法的应用场景受到限制。为了澄清并应对这一问题,本文需要定义一种新的平移等变性,即广义平移等变性,它描述的是滤波器响应的平移变化只相对于目标的平移而非整个样本的平移,这才是目标跟踪所需要的平移等变性。但由于很难找到能满足这一性质的算子,本文又定义了弱广义平移等变性的概念,同时提出了一种非对称卷积算子并证明该算子在一定条件下满足弱广义平移等变性。本文将基于这种非对称卷积算子的滤波器称为非对称判别相关滤波器(ADCF),并证明由ADCF导出的正规方程的系数矩阵是一个分块矩阵,每个块是一个两级的块Toeplitz矩阵,这推广了判别相关滤波器中每个块是一个循环矩阵的情形。基于此,本文设计了块Toeplitz矩阵-向量积的快速算法用来求解ADCF。与基于判别相关滤波器的跟踪算法相比,在广义平移等变性变得重要的情况下,ADCF跟踪的精度提高非常显著。2.提出残差感知的非对称判别相关滤波器。尽管现有算法BACF(背景感知的相关滤波器)和本文提出的ADCF从出发点和数学形式上比较都不尽相同,但二者实质上是等价的,只是求解算法不同。本文从ADCF的正规方程具有两级的块Toeplitz矩阵结构出发构造了近似求解的算法,而BACF利用ADMM算法将原优化问题分解成独立的子问题,构造了并行求解的算法,求解效率要比前者高很多。尽管如此,基于ADMM求解非对称判别相关滤波器仍存在收敛慢和数值不稳定的问题。特别是,基于BACF的ARCF-HC算法在无人机目标跟踪领域的跟踪精度超过了先前所有基于判别相关滤波器的算法,但算法运行效率较低,每帧需要ADMM算法迭代五次,难以满足无人机目标跟踪对实时性的要求。受残差表示和残差学习,特别是深度残差网络ResNets可以减少破碎梯度(shattered gradient),提高网络学习和收敛速度以及提高数值稳定性的启发,本文利用视频相邻帧之间存在的残差本质提出了残差感知的非对称判别相关滤波器,显著改进了算法的收敛速度和数值稳定性,每帧只需要ADMM算法迭代两次,比ARCF-HC节省了非常可观的时间开销,而且残差感知的非对称判别相关滤波器相当于复合了几个优化目标函数,跟踪的精度也比ARCF-HC有所提高。另外,本文还成功引进时空正则化来提高残差感知的非对称判别相关滤波器的跟踪精度,而几乎没有增加额外时间开销。3.提出基于GrabCut图像分割算法改进判别尺度估计。自从引入判别的尺度估计之后,大部分基于判别相关滤波器的跟踪算法就沿用这一方法来估计目标物体的尺度变化,考虑改进目标物体尺度估计方法的工作相对很少。然而,尺度估计直接影响跟踪算法的精度。因为,一方面,跟踪算法的评价指标的计算直接依赖于估计的尺度;另一方面,滤波器的更新是建立在对目标物体尺度估计的基础上的;估计的尺度比实际尺度偏大时,代表目标的图像样本就会包含较多背景,而估计的尺度比实际尺度偏小时,代表目标的图像样本就只包含目标的部分,随着时间的推移,尺度估计的误差会不断累积,最终可能导致跟踪算法失跟。非对称判别相关滤波器由于滤波器大小相对于检测样本要小很多,更容易受到样本尺度变化的影响,对尺度误差非常敏感,更加需要精确的尺度估计。本文提出了利用GrabCut图像分割算法来改进基于(非对称)判别相关滤波器的跟踪算法中的判别尺度估计,显著提高了基于(非对称)判别相关滤波器跟踪算法在无人机目标跟踪应用中的精度。另外,本文提出的方法具有通用性,很容易融合到现有的基于判别尺度估计的目标跟踪算法中。