本文主要研究了支持向量机（Support Vector Machine，简称SVM）的在线学习算法。支持向量机是建立在统计学习理论基础上的新型机器学习方法。支持向量机有效克服了神经网络方法收敛慢、解不稳定、推广性差的缺点，近年来成为了机器学习领域理论研究的新热点。　　 目前已有一些成熟的支持向量机学习算法得到广泛的应用，比如块算法、分解算法，以及最著名的SMO算法等。然而这些算法无一例外都是只能够离线应用的学习算法，对支持向量机在线学习算法的研究还很少，因此本文在已有成果的基础之上，重点研究支持向量机在线学习算法。针对上述情况，本文主要做了以下两方面的工作。　　 第一，本文提出了求解最小二乘支持向量机的在线学习算法，本算法利用了经典的最速下降法，首先根据在样本在核空间是否线性无关性构造样本字典集，分类器利用最速下降法在线地迭代优化。算法在理论上能在有限步内收敛到全局最优解，仿真实验结果表明，该算法具有较好的稀疏性和分类性能。　　 第二，本文基于Keerthi SMO提出了一种在线学习算法。算法由Increment和Decrement两个过程依次对样本进行学习。Increment过程首先根据新样本是否违反KKT条件决定是否把它加入到候选支持向量集合S中，然后对在S集合中找到一个样本与该新样本构成τ违反对进行优化。Decrement过程删除候选集S中不可能成为支持向量的样本。理论分析表明该算法能够收敛到近似最优解。基于UCI数据集的实验结果表明，该算法获得较快的训练速率。且分类性能和支持向量数目与LIBSVM方法的结果相接近。