论文部分内容阅读
图像融合是数字图像处理中的一个重要的研究课题.它已经非常广泛地应用于计算机视觉、军事和遥感等众多领域.图像融合包括很多种类型:多聚焦图像融合、红外和可见光图像融合和多源遥感图像融合等.融合后的图像更适合人类视觉和机器感知,有利于后续的图像处理和分析任务,比如图像标注与检索、目标检测分类与识别和遥感反演等.不同类型的图像融合可以达到不同的融合目的;也存在着不同的问题,会影响后续的图像处理任务.所以,针对不同类型的图像融合,需要提出不同的图像融合方法来解决相应的问题.本文研究了上述三种图像融合的应用场景,为了提高融合图像的质量,本文研究并探索了剪切波(Shearlet)、框架波(Framelet)和俄罗斯方块波(Tetrolet).然后,本文分别提出了三种变换,更加适合三种图像融合领域.基于上述三种变换,本文给出了三种图像融合方法,并分别应用于多聚焦图像融合、红外和可见光图像融合和多源遥感图像融合.本文主要取得如下成果.1.通过研究剪切波,我们提出了一种非下采样紧支撑剪切波变换(nonsubsampled compactly supported shearlet transform,NSCSST),让常规的紧支撑剪切波变换具有了平移不变性.它可以依次由剪切变换和可分离各向异性非下采样小波变换(separable anisotropic nonsubsampled wavelet transform,SANSWT)来实现.通过设计SANSWT滤波器组,可以让常规的小波滤波器同时满足各向异性和平移不变性.NSCSST具有很多良好的性质,包括多尺度、多方向、各向异性、平移不变性和空间局部化.这些性质对于变换域多聚焦图像融合方法是非常重要的.它可以更有效地表示源图像的更多细节信息,并进一步提高融合图像的质量.基于NSCSST,我们给出了一种多聚焦图像融合方法.此图像融合方法包含两个方面,变换域融合和多方向融合.这两个方面分别对应剪切变换和SANSWT.对于每一组剪切后的图像对,首先,使用变换域融合规则来融合SANSWT系数;然后,通过多方向融合规则来获得最终的融合图像.对于变换域图像融合方法,融合规则可以对融合效果起到非常重要的作用.作为一种有效的空间域方法,“修正拉普拉斯和”能够有效地区分聚焦和散焦像素,所以我们选它作为低频融合规则.在图像融合中,高频系数对噪声比较敏感.为了消弱噪声对高频系数融合的影响,我们使用基于区域能量的融合规则作为高频融合规则.最后,我们提出了一种基于遗传算法的融合规则,作为多方向融合的融合规则.不仅在客观评价上,而且在视觉效果上,我们提出的融合方法都可以获得更好的融合结果.2.通过研究框架波变换,我们提出了一种基于框架波的三层图像变换.作为一种多尺度变换,非抽样框架波变换具有比较高的冗余度.但是它具有空间局部化和平移不变性.这可以使得融合图像中的目标物体的边缘更清晰.三层图像变换具有多尺度、平移不变性和空间局部化特征,这些特征对图像融合非常重要.三层图像分解可以依次由剪切变换、非抽样框架波变换和均值滤波来实现.为了完成方向分解,我们首先对源图像使用剪切变换.然后,使用非抽样框架波变换可以更好地提取高频信息.最后,使用均值滤波来获得低频和中频信息.基于三层图像变换,我们给出了一种多方向图像融合方法,并应用于红外和可见光图像融合中.本文的图像融合方法包括两个方面:变换域融合和多方向融合.不同的融合规则用于融合不同通道的分解系数.本融合方法使用了基于引导滤波的融合规则,分别融合低频系数和中频系数.使用基于区域能量的融合规则来融合高频系数.为了获得更好的融合效果,本文尝试使用遗传算法和基于网格的多步优化算法来调整基于引导滤波的融合规则的参数.实验结果显示,本方法的融合效果优于一些其他的融合方法.3.我们提出了一种小波滤波器矩阵的构造方法,可以将基于Haar小波的Tetrolet变换扩展到其他小波上,包括db2小波、“5/3”小波和“9/7”小波等.把此小波滤波器矩阵和Tetrolet的四格拼板方式相结合,形成了一种扩展的俄罗斯方块波变换.然后,本文构造了一种基于HIS变换和扩展的Tetrolet变换的多源遥感图像融合方法.使用HIS变换从多光谱图像中提取出亮度分量;把亮度分量和空间分辨率高的全色图像或者含有丰富细节信息的近红外图像相融合,能够有效地保留多光谱图像和其他波段图像的不同特征.Tetrolet具有多尺度、多方向和自适应性,可以自适应地描述图像的局部几何特征.Tetrolet可以捕捉图像的纹理边缘等细节,使源图像中更多的细节融合到最终图像中,得到的融合图像清晰度更高.在融合过程中,融合规则会影响融合图像的质量.为了更好地融合Tetrolet分解后的低频系数和高频系数,我们采用绝对值加权法融合低频系数,采用绝对值取大法融合高频系数;通过局部能量判别法选择出融合后高频系数的最优填充方案.实验结果显示,本方法融合图像的清晰度略高于HIS变换法;同时两类多源遥感图像的光谱偏差指数都有所下降,landsat-8和HJ-1A的光谱偏差指数分别降至HIS变换法的74.25%和59.70%.说明本方法不仅提高了融合图像的清晰度,而且能够很好地保持多光谱图像的光谱信息.