论文部分内容阅读
高光谱成像仪能够获得由几十到几百个连续密集的窄波段组成的光谱图像。高分辨的光谱信息使得目标检测和分类变得更加准确,因此高光谱图像在农业和矿业勘探等领域得到广泛应用。然而,由于一般的显示屏最多只能显示三通道的图像,因此高光谱图像无法在显示屏上直接显示。为了获得用户与高光谱图像之间的高效交互,高光谱图像的可视化问题成为一个研究热点。高光谱图像可视化本质上是一个降维的问题,其目标是把图像从高维空间转换到RGB三维彩色空间。一般而言,高光谱图像的可视化方法应尽量实现以下目标以方便人理解和分析图像:1,信息保留;2,颜色一致性;3,拥有自然色调。目前大部分方法都致力于解决信息保留的问题,即尽可能地在输出图像中保留原始图像的结构信息。然而,很多方法忽视了第二和第三个目标。比如,在大部分数据驱动的可视化方法中,相同的物质在不同的图像中可能会被差异很大的颜色来表示。另外,大多数方法最终都以不自然的伪彩色图像来显示高光谱图像。 为了使高光谱图像更容易被理解,本文提出基于流形学习的可视化方法,其目的是在保留图像信息的同时用自然的颜色显示高光谱图像。其核心技术是利用流形降维的方法把高光谱的波段数目降至三维,以此保留原始图像的结构信息,同时利用一张与高光谱图像对应的彩色RGB图像,在降维的同时把RGB图像的颜色迁移到高光谱的可视化图像中,最终得到一张易于理解的自然颜色的图像。本论文的主要工作和创新点如下: 1.提出基于流形对齐的高光谱可视化方法。流形对齐的核心思想是利用不同的数据集之间的对应样本,将多个数据集同时映射到一个共同的子空间。在这个子空间中,数据集之间的对应样本彼此对齐,原本用不同特征表达的数据集以一种共同的特征来表达。基于此空间,不同的数据集的原始特征可以相互转化,数据集之间的信息可以实现共享。在高光谱可视化的应用中,我们利用一张和高光谱图像对应的高分辨率的自然颜色的RGB图像,将其与高光谱图像通过流形对齐映射到一个共同的三维空间。这个空间作为连接高维光谱空间和RGB空间的“桥梁”,使得RGB图像的颜色和空间信息能够和高光谱图像的结构信息相融合,最终得到一张具有自然颜色信息和精细细节信息的可视化图像。 2.提出基于半监督流形学习的高光谱可视化方法。利用高光谱图像的流形结构和一个参考RGB图像的自然颜色信息来生成一张可视化图像。将高光谱图像中与RGB图像匹配的点看做带标记样本点,标记信息是RGB图像中对应像素点的颜色信息。用带标记样本点来约束可视化图像的像素点与它们在参考RGB图像的匹配点有相似的颜色。同时,利用高光谱图像中带标记和不带标记像素点,构建高光谱图像的整体流形结构,使得在流形结构的约束下,颜色从带标记点平滑地传播到可视化图像的其余像素点,同时保持高光谱图像的结构信息。在构建流形结构的过程中,本文采用空-谱结合的核函数以更好地保留图像的空间信息。提出的半监督流形学习可以在两个层面实现:实例级和特征级。实例级学习建立实例之间的联系:它直接得到高光谱图像中的像素点在三维颜色空间中的坐标。特征级学习建立不同特征之间的联系:它建立从高维光谱空间到三维颜色空间的线性映射。两种学习方式各有利弊。实例级学习是非线性的,可以保留高光谱图像的非线性结构信息,然而其学习结果难以推广到新的测试数据。特征级学习虽然是线性的,但其学习结果可以被直接用于其他由相同成像仪拍摄的高光谱图像,而且相比于实例级学习速度更快。 3.提出基于流形对齐和半监督流形学习的彩色图像颜色迁移算法。将RGB彩色图像的颜色迁移到高光谱图像的方法同样适用于普通彩色图像之间的颜色迁移。本文用提出的流形对齐和半监督流形学习的方法解决彩色图像拼接问题中的颜色不匹配问题。在全景图像拼接过程中,待拼接图像可能因为拍摄时间,光照,相机参数等不同导致图像颜色不一致,从而导致拼接后的全景图颜色不一致。颜色迁移是最常用的一种解决颜色不匹配的方法。在颜色迁移的模型中,通常将颜色较满意的一张图像称为参考图像,而将颜色待改变的图像称为目标图像。颜色迁移的目标是合成一幅新的图像,使其同时具有参考图像的颜色和目标图像的形状结构等信息,即目标图像在不改变它自身所表达的形状信息的情况下,学习参考图像的整体颜色基调。本文分别利用提出的流形对齐和半监督流形学习的方法进行颜色迁移,最终得到全局颜色一致的全景图像。