论文部分内容阅读
非负矩阵分解(Non-negative Matrix Factorization,NMF)是指将一个非负矩阵分解为两个非负因子矩阵乘积的形式。作为一种局部的、稀疏的数据表达方法,非负矩阵分解在信息处理领域获得了广泛的应用,目前仍是机器学习和计算机视觉等方向的重要的研究课题。本文以非负矩阵分解为研究对象,重点对非负矩阵分解的图及超图的正则化方法进行了深入研究,部分解决了现有算法在处理具有非线性分布形式的样本数据时所存在的不足。本文的主要研究工作如下: (1)提出了一种几何结构保持的非负矩阵分解算法。该算法将原始样本分布中近邻样本点间的相似性关系和远距离样本点间的互斥性关系以图正则化的方式进行了描述,并将其引入到非负矩阵分解框架,进而提高了算法对流形结构的保持能力。相对于标准的非负矩阵分解算法,提出的算法充分利用了样本分布的先验知识,因此可以获得一种更好低维数据表达方式。为了提高几何结构保持的非负矩阵分解算法对噪声点或者离群点的鲁棒性,提出用L2,1范数来计算矩阵分解过程中的误差项,相对于L2范数,基于L2,1范数数据重构方法弱化了离群点或噪声点的误差项在整个误差结果中所占的比重,大大减弱离群点或噪声点对几何结构保持的非负矩阵分解结果的影响。在多个测试集上的试验结果验证了笔者的想法。与其他方法的对比,显示出鲁棒性几何结构保持的非负矩阵分解算法对噪声样本的具有较强的鲁棒性。 (2)基于图模型的正则化方法虽然可以有效描述样本间两两的序对关系,但在描述样本间的多元甚至更为复杂的相互关系相对比较乏力。为此,将多超图正则化的方法引入到了非负矩阵分解框架。相对基于图的正则化方法,超图正则化方法可有效地描述样本间复杂的多元关系和高阶信息。另外,为了避免单一超图在刻画样本分布的流形结构时所引起的过拟合现象,用事先定义的超图集中不同超图间凸组合来近似逼近样本分布的本质流形结构。基于多超图正则化的非负矩阵分解大大提高了算法对数据关系描述的完整性和准确性,同时也提高了算法的聚类性能。 (3)提出了一种基于超图直推非负矩阵分解的图像标注算法。该算法首先采用基于监督学习的超图模型来描述样本的低层视觉特征与高层语义标签间的相互关系,并通过超图的正则化方法来对样本的语义标签进行预测。为控制语义标签的预测误差,还把语义标签的直推正则项引入了非负矩阵分解框架,从而实现了对样本语义标签的预测和误差控制。为了提高图像标注的精度,提出了上述标注算法的改进方法。首先,为了有效利用了异质样本特征间的冗余信息,将基于单视图特征的图像标注算法扩展到了多视图空间,并对矩阵分解后各视图上的系数矩阵实施了一致性约束来确保其物理意义的相关性;其次,当有新的训练样本或标注信息被添加到样本库时,为了避免对预测模型进行重新学习所带来的负担,提出查询样本驱动的图像标注方法,即,对某查询样本仅采用其七近邻的训练进行标签预测的方法,这大大简化了模型的学习难度。在图像标注数据库上的试验结果表明,相对于其他算法,提出的图像标注算法具有良好的标注性能和参数的鲁棒性。