论文部分内容阅读
摘要:图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值,它是指将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。一般来说,图像拼接的过程由图像获取、图像配准、图像合成三步骤组成,其中图像配准是整个图像拼接的基础。
关键词:图像拼接;图像配准;图像融合
中图分类号:TP751.1 文献标识码:A 文章编号:1000-8136(2009)30-0062-02
图像拼接是一个日益流行的研究领域,已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式,通过对齐一系列空间重叠的图像,构成一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野。
图像拼接技术主要有3个步骤:图像预处理、图像配准、图像融合与边界平滑,见图1。
图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等,让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接,如果不经过图像预处理,很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备,让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间,可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况,一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息,将图像对齐。图像融合指在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同。因此,对于一些本应该相同的图像特性,如图像的光照特性等,在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时,由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显,拼接更自然。
1图像的获取方式
图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图。这些有重叠部分的图像一般由两种方法获得:一种是固定照相机的转轴,然后绕轴旋转所拍摄的照片;另一种是固定照相机的光心,水平摇动镜头所拍摄的照片。其中,前者主要用于远景或遥感图像的获取,后者主要用于显微图像的获取,它们共同的特点就是获得有重叠的二维图像。
2图像的预处理
2.1图像的校正
当照相系统的镜头或者照相装置没有正对着待拍摄的景物时,那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外,由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真,也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题,原本在两幅图像中相同的物体会因为畸变而变得不匹配,这会给图像的配准带来很大的问题。因此,解决几何畸变的问题显得很重要。
图像校正的基本思路是,根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。实际的复原过程是设计一个滤波器,使其能从失真图像中计算得到真实图像的估值,使其根据预先规定的误差准则,最大程度地接近真实图像。
2.2图像噪声的抑制
图像噪声可以理解为妨碍人的视觉感知,或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素,也可以理解成真实信号与理想信号之间存在的偏差。一般来说,噪声是不可预测的随机信号,通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要,它影响图像处理的各个环节,特别在图像的輸入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声,必然影响图像拼接的全过程及输出的结果。根据噪声的来源,大致可以分为外部噪声和内部噪声;从统计数学的观点来定义噪声,可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上,大致可以分为两种类型。一是噪声的幅值基本相同,但是噪声出现的位置是随机的,一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型、瑞利型,分别成为高斯噪声和瑞利噪声,又如频谱均匀分布的噪声称为白噪声等。
3图像配准算法
图像配准简而言之就是图像之间的对齐。图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程。为了更清楚图像配准的任务,我们将图像配准问题用更精确的数学语言描述出来。配准可以描述为如下的问题:
给定同一景物的从不同的视角或在不同的时间获取的两个图像I1、I2和两个图像间的相似度量S(I1,I2),找出I1,I2中的同名点,确定图像间的最优变换T,使得S(T(I1),I2)达到最大值。
图像配准总是相对于多幅图像来讲的,在实际工作中,通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图。图像配准的一般做法是,首先在参考图上选取以某一目标点为中心的图像子块,并称它为图像配准的模板,然后让模板在搜索图上有秩序地移动,每移到一个位置,把模板与搜索图中的对应部分进行相关比较,直到找到配准位置为止。
如果在模板的范围内,同一目标的两幅图像完全相同,那么完成图像配准并不困难。然而,实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的,如不同的成像时间、不同的成像位置,甚至不同的成像系统等,再加上成像中各种噪声的影响,使同一目标的两幅图像不可能完全相同,只能做到某种程度的相似,因此图像配准是一个相当复杂的技术过程。
4基于区域的配准
4.1逐一比较法
设搜索图为S待配准模板为T,S大小为M N,T大小为U V,见图2。
逐一比较法的配准思想是:在搜索图S中以某点为基点(i,j),截取一个与模板T大小一样的分块图像,这样的基点有(M-U+1)×(N-V+1)个,配准的目标就是在(M-U+1)×(N-V+1)个分块图像中找一个与待配准图像最相似的图像,这样得到的基准点就是最佳配准点。
设模板T在搜索图S上移动,模板覆盖下的那块搜索图叫子图S,(i,j)为这块子图的左上角点在S图中的坐标,叫做参考点。然后比较T和Si,j的内容。若两者一致,则T和Si,j之差为零。在现实图像中,两幅图像完全一致是很少见的,一般的判断是在满足一定条件下,T和Si,j之差最小。
根据以上原理,可采用下列两种测度之一来衡量T和Si,j的相似程度。D(i,j)的值越小,则该窗口越匹配。
该算法的优点:
(1)算法思路比较简单,容易理解,易于编程实现。
(2)选用的模板越大,包含的信息就越多,匹配结果的可信度也会提高,同时能够对参考图像进行全面的扫描。
4.2分层比较法
图像处理的塔形分解方法早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图像分解成许多不同空间分辨率的子图像,高分辨率(尺寸较大)的子图像放在下层,低分辨率(尺寸较小)的图像放在上层,从而形成一个金字塔形状。
在逐一比较法的思想上,为减少运算量,引入了塔形处理的思想,提出了分层比较法。利用图像的塔形分解,可以分析图像中不同大小的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化分析和计算。在搜索过程中,首先进行粗略匹配,每次水平或垂直移动一个步长,计算对应像素点灰度差的平方和,记录最小值的网格位置。其次,以此位置为中心进行精确匹配。每次步长減半,搜索当前最小值,循环这个过程,直到步长为零,最后确定出最佳匹配位置。
该算法的优点:
(1)该算法思路简单,容易理解,易于编程实现。
(2)该算法的搜索空间比逐一比较要少,在运算速度较逐一比较法有所提高。
4.3相位相关法
相位相关度法是基于频域的配准常用算法。它将图像由空域变换到频域以后再进行配准。该算法利用了互功率谱中的相位信息进行图像配准,对图像间的亮度变化不敏感,具有一定的抗干扰能力,而且所获得的相关峰尖锐突出,位移检测范围大,具有较高的匹配精度。
该算法的优点:
(1)该算法简单速度快,因此经常被采用。对于其核心技术傅立叶变换,现在已经出现了很多有关的快速算法,这使得该算法的快速性成为众多算法中的一大优势。另外,傅立叶变换的硬件实现也比其他算法容易。
(2)该算法抗干扰能力强,对于亮度变化不敏感。
参考文献
1 黄贤武等.数字图像处理与压缩编码技术.电子科技大学出版社,2000
2 阮秋琦.数字图像处理学.电子工业出版社,2001
3 贾永红.计算机图像处理与分析.武汉大学出版社,2001
Discusses the Image Splicing Algorithm
Yin Zhenhe
Abstract: Image splicing in domains photogrammetry, computer vision, remote sensing imagery processing, medicine image analysis, computer graphics has the widespread application value, generally speaking, the image splicing process by image gain, image registration, the picture systhesis three steps is composed, the image registration is the entire image splicing foundation.
Key words: image splicing; image registration; image fusion
关键词:图像拼接;图像配准;图像融合
中图分类号:TP751.1 文献标识码:A 文章编号:1000-8136(2009)30-0062-02
图像拼接是一个日益流行的研究领域,已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式,通过对齐一系列空间重叠的图像,构成一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野。
图像拼接技术主要有3个步骤:图像预处理、图像配准、图像融合与边界平滑,见图1。
图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等,让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接,如果不经过图像预处理,很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备,让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间,可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况,一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息,将图像对齐。图像融合指在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同。因此,对于一些本应该相同的图像特性,如图像的光照特性等,在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时,由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显,拼接更自然。
1图像的获取方式
图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图。这些有重叠部分的图像一般由两种方法获得:一种是固定照相机的转轴,然后绕轴旋转所拍摄的照片;另一种是固定照相机的光心,水平摇动镜头所拍摄的照片。其中,前者主要用于远景或遥感图像的获取,后者主要用于显微图像的获取,它们共同的特点就是获得有重叠的二维图像。
2图像的预处理
2.1图像的校正
当照相系统的镜头或者照相装置没有正对着待拍摄的景物时,那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外,由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真,也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题,原本在两幅图像中相同的物体会因为畸变而变得不匹配,这会给图像的配准带来很大的问题。因此,解决几何畸变的问题显得很重要。
图像校正的基本思路是,根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。实际的复原过程是设计一个滤波器,使其能从失真图像中计算得到真实图像的估值,使其根据预先规定的误差准则,最大程度地接近真实图像。
2.2图像噪声的抑制
图像噪声可以理解为妨碍人的视觉感知,或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素,也可以理解成真实信号与理想信号之间存在的偏差。一般来说,噪声是不可预测的随机信号,通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要,它影响图像处理的各个环节,特别在图像的輸入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声,必然影响图像拼接的全过程及输出的结果。根据噪声的来源,大致可以分为外部噪声和内部噪声;从统计数学的观点来定义噪声,可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上,大致可以分为两种类型。一是噪声的幅值基本相同,但是噪声出现的位置是随机的,一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型、瑞利型,分别成为高斯噪声和瑞利噪声,又如频谱均匀分布的噪声称为白噪声等。
3图像配准算法
图像配准简而言之就是图像之间的对齐。图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程。为了更清楚图像配准的任务,我们将图像配准问题用更精确的数学语言描述出来。配准可以描述为如下的问题:
给定同一景物的从不同的视角或在不同的时间获取的两个图像I1、I2和两个图像间的相似度量S(I1,I2),找出I1,I2中的同名点,确定图像间的最优变换T,使得S(T(I1),I2)达到最大值。
图像配准总是相对于多幅图像来讲的,在实际工作中,通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图。图像配准的一般做法是,首先在参考图上选取以某一目标点为中心的图像子块,并称它为图像配准的模板,然后让模板在搜索图上有秩序地移动,每移到一个位置,把模板与搜索图中的对应部分进行相关比较,直到找到配准位置为止。
如果在模板的范围内,同一目标的两幅图像完全相同,那么完成图像配准并不困难。然而,实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的,如不同的成像时间、不同的成像位置,甚至不同的成像系统等,再加上成像中各种噪声的影响,使同一目标的两幅图像不可能完全相同,只能做到某种程度的相似,因此图像配准是一个相当复杂的技术过程。
4基于区域的配准
4.1逐一比较法
设搜索图为S待配准模板为T,S大小为M N,T大小为U V,见图2。
逐一比较法的配准思想是:在搜索图S中以某点为基点(i,j),截取一个与模板T大小一样的分块图像,这样的基点有(M-U+1)×(N-V+1)个,配准的目标就是在(M-U+1)×(N-V+1)个分块图像中找一个与待配准图像最相似的图像,这样得到的基准点就是最佳配准点。
设模板T在搜索图S上移动,模板覆盖下的那块搜索图叫子图S,(i,j)为这块子图的左上角点在S图中的坐标,叫做参考点。然后比较T和Si,j的内容。若两者一致,则T和Si,j之差为零。在现实图像中,两幅图像完全一致是很少见的,一般的判断是在满足一定条件下,T和Si,j之差最小。
根据以上原理,可采用下列两种测度之一来衡量T和Si,j的相似程度。D(i,j)的值越小,则该窗口越匹配。
该算法的优点:
(1)算法思路比较简单,容易理解,易于编程实现。
(2)选用的模板越大,包含的信息就越多,匹配结果的可信度也会提高,同时能够对参考图像进行全面的扫描。
4.2分层比较法
图像处理的塔形分解方法早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图像分解成许多不同空间分辨率的子图像,高分辨率(尺寸较大)的子图像放在下层,低分辨率(尺寸较小)的图像放在上层,从而形成一个金字塔形状。
在逐一比较法的思想上,为减少运算量,引入了塔形处理的思想,提出了分层比较法。利用图像的塔形分解,可以分析图像中不同大小的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化分析和计算。在搜索过程中,首先进行粗略匹配,每次水平或垂直移动一个步长,计算对应像素点灰度差的平方和,记录最小值的网格位置。其次,以此位置为中心进行精确匹配。每次步长減半,搜索当前最小值,循环这个过程,直到步长为零,最后确定出最佳匹配位置。
该算法的优点:
(1)该算法思路简单,容易理解,易于编程实现。
(2)该算法的搜索空间比逐一比较要少,在运算速度较逐一比较法有所提高。
4.3相位相关法
相位相关度法是基于频域的配准常用算法。它将图像由空域变换到频域以后再进行配准。该算法利用了互功率谱中的相位信息进行图像配准,对图像间的亮度变化不敏感,具有一定的抗干扰能力,而且所获得的相关峰尖锐突出,位移检测范围大,具有较高的匹配精度。
该算法的优点:
(1)该算法简单速度快,因此经常被采用。对于其核心技术傅立叶变换,现在已经出现了很多有关的快速算法,这使得该算法的快速性成为众多算法中的一大优势。另外,傅立叶变换的硬件实现也比其他算法容易。
(2)该算法抗干扰能力强,对于亮度变化不敏感。
参考文献
1 黄贤武等.数字图像处理与压缩编码技术.电子科技大学出版社,2000
2 阮秋琦.数字图像处理学.电子工业出版社,2001
3 贾永红.计算机图像处理与分析.武汉大学出版社,2001
Discusses the Image Splicing Algorithm
Yin Zhenhe
Abstract: Image splicing in domains photogrammetry, computer vision, remote sensing imagery processing, medicine image analysis, computer graphics has the widespread application value, generally speaking, the image splicing process by image gain, image registration, the picture systhesis three steps is composed, the image registration is the entire image splicing foundation.
Key words: image splicing; image registration; image fusion