论文部分内容阅读
手写汉字识别是一个典型的模式分类问题,它具有类别多、维数高的特点。目前常用线性判别分析(LDA)方法降维到低维子空间来解决。然而由于汉字识别的类别数(几千类)远大于特征维数(几百维),并且存在着大量的相似类别,使得LDA无法得到一个低维子空间将所有类别完全分开,部分相似字甚至会因为降维产生严重的混叠现象。本文从LDA在汉字识别应用中的局限性出发,面向多类模式分类问题,提出了三种LDA的改进方法。同时。对于全局降维方法无法完全解决的相似字识别问题,提出关键区域特征选择算法来实现高精度的识别效果。主要工作和贡献如下:
①针对传统LDA算法在多类别情况下造成混叠现象的问题,提出了一种改进的线性判别分析准则(MLDA)。在两步LDA的基础上,嵌入局部特性保持约束,使得在高维空间中离得很近的类别在降维后仍能保持类别间的局部分离性,避免混叠现象的发生。在两个手写汉字数据库上的实验结果表明,我们提出的MLDA算法分类性能优于传统的LDA算法。
②提出了最差情况下的优化准则最小最大判别分析(MMDA)以降低传统LDA在多类问题降维时产生的混叠问题。MMDA改进了LDA因只考虑全局最优而造成的局部混叠现象,用最小最大准则代替平均最大准则,从而提高了降维后类别间的可分性。对该准则进行合理的松弛后,转化为标准的半正定规划求解问题,同时证明了该松弛后的问题同原问题在一定条件下等价。在UCI、Yale和ORL人脸数据库上的实验结果表明,MMDA在性能上要优于LDA、aPAC、LFDA、LPP等降维方法。
③针对MMDA算法因复杂度过高无法直接应用于大类别集汉字识别的问题,提出了MMDAOnline快速算法。MMDAOnline算法是在MMDA中加入松弛变量,用基于随机梯度的Online算法代替MMDA中半正定规划求解,即每一次只使用一组类中心对更新投影矩阵。同时通过限制更新类中心对的候选个数以减少不必要的更新过程,从而进一步减少训练时间。从UCI、USPS到手写汉字识别和相似字识别等大量实验结果表明,MMDAOnline算法及其加速算法在性能和速度上具有优越性。
④区别于以前的关键区域选择方法,我们从特征选择角度出发,提出了基于关键区域特征选择的相似字判别算法。该算法利用互信息来自动寻找相似字间的不相似区域,然后利用这些不同区域的特征来学习两类分类器。这样做的好处是一方面减少了分类器在高维空间学习的参数开支,另一方面因为去除了那些可能带来噪声的区域特征,从而得到更高的分类精度。同时,我们根据大类别集分类器在训练样本上的输出从统计意义上找相似字对,从而尽可能多地找到那些真正可以提高精度的相似字。实验结果表明,我们的算法从精度和计算速度上都得到了提高。