在模式识别领域中，线性鉴别分析是一种最为常见和经典的监督分类方法。自从它的最原始版本早在1936年被Fisher第一次提出之后，迄今为止该领域的学者专家做了大量的改进工作。可是，这些工作大多局限于对线性鉴别分析算法形式上改进。本文着重从理论的层面入手，把线性鉴别分析分别与优化、概率论、流形相联系，并且根据实际情况（如大样本、小样本等）来改进本身的线性鉴别分析。　　本文比较了商准则和差准则两种不同形式的线性鉴别分析方法的各自优缺点及不同的应用场合（高维小样本问题和低维大样本问题）。对于前者，如人脸识别，差准则表现较好，因为商准则的分母会因为不稳定而造成奇异现象，从而影响识别效果;对于后者，如字符识别，商准则表现较好，因为差准则所得出的鉴别矢量不满足统计不相关性，而商准则满足。根据以上分析，本文给出一个通用准则，而商准则和差准则都是通用准则的特殊情况。我们在ORL人脸库、FERET人脸库，CENPARMI手写体阿拉伯数字数据库和南京理工大学NUST603HW手写汉字样本库上做实验，通过对通用准则中参数的调节，发现可以折中这两个准则的各自优缺点，从而达到均优于商准则和差准则的识别效果。　　本文针对人脸识别问题，我们提出了LDA最小二乘解的的融合特征算法。我们把每幅人脸图像划分成多个4×4的小块，然后以小块为单位，提取每块的灰度均值以及类似于LBP的纹理信息这两种特征。然后根据线性鉴别分析(LDA)与最小二乘解之间的等价关系，我们分别把这两种特征的线性鉴别分析中k-1个投影矢量的求解问题转换为k个最小二乘的求解问题（假设样本一共k个类）。最后，再把对这两种特征所求得的k对最小二乘解通过构造k个目标函数来一一进行融合.该方法不仅使图像信息缩小成了原来的1/16，减小了计算量，还实现了两种特征的互补。Yale人脸库和AR_Gray人脸库上的实验表明，融合方法的识别效果比单一特征的LDA更好。　　本文针对低维大样本问题，提出了EM框架下迭代投影聚类的子类鉴别分析方法。线性鉴别分析假设每个类都服从单一的高斯分布，在很多现实问题中很不合理。相比之下，混合鉴别分析(MDA)和子类鉴别分析(SDA)方法都是把每类都划分为若干个互不相交的子类，在原始空间中一次性地构造子类内散度矩阵（有待最小化）和子类间散度矩阵（有待最大化），然后类似于LDA，求广义特征值问题。我们提出的算法是以迭代的方式进行子类划分，即对每类样本的子类划分初始化后，就把某一类样本投影到刚刚求出的子空间内去做子类划分（M步骤）;根据更新后的子类再去更新子空间（E步骤）。如此的迭代过程逐类循环进行，其间作为目标函数值的迹（特征值之和）呈现出上升趋势，直至收敛为止。该算法在模拟的二维高斯数据、UCI机器学习数据以及Concordia University CENPARMI手写体阿拉伯数字数据库和南京理工大学NUST603HW手写汉字样本库样本上都取得了优于MDA，SDA和LDA的识别效果，而且所费时间仅比MDA和SDA稍微多一点。　　本文针对流形学习问题，受到差鉴别分析准则的启发，提出了基于最大化鉴别子空间的流形学习算法。在该算法中，我们以每类样本为单位，先通过奇异值分解(SVD)求出它的特征空间（一组基向量），算出投影到该组基向量后该类样本减去其他所有类样本之差达到最大的线性组合系数。最后，把每类样本的的特征空间连同此类组合系数用优化方法整合在一起，形成新的空间，我们称之为最大化的鉴别子空间。在ORL人脸数据库上，USPS手写字符数据库以及CENPARMI手写体阿拉伯数字样本库上的实验结果证明，在最大化的鉴别子空间中做流形降维的特征抽取，要比在原始数据空间中直接做流形降维的分类效果更好。