随着互联网技术的飞速发展,网上的资源呈指数增长,人工处理这些海量信息代价非常高昂,因此如何高效地组织和管理这些资源成为近些年来的研究热点。一种自动组织和管理知识的技术——文本分类,作为实现这一目标的关键技术之一,得到了研究人员的广泛关注。 传统的基于概率的文本分类,如朴素贝叶斯方法,它们通常假设类模型服从单一分布,在估计类模型时往往需要大量高质量的样本才能准确反映类特征。实际上,人们在写作过程中会受到多方面因素影响,如所要描写的主题、相关背景、写作常识、文章风格、写作习惯、词汇上下文语境等等,即一个类的分布特征是受到多因素影响的。如果只用单一的分布模型来拟合类的分布特征是不准确和不完整的。 针对于此,本文提出了一种基于主题和通用知识的类模型,利用期望最大化方法(EM)估计模型参数。实验证明:基于混合模型的分类算法的整体性能明显优于朴素贝叶斯方法,是一种比较稳定的算法,尤其是在小训练样本情况下,混合模型分类算法表现突出。另外,尽管估计混合模型时增加了分类模型的复杂度,但实验表明,由于EM算法通常在3次迭代后基本收敛,对算法的整体效率影响不大。 本文还论述了我们提出的基于混合模型的文本分类器的两种用途。(1)建立用户模型:在我们的一个个性化推荐原型系统SmartWeb中,用户模型是其中的一个重要模块,好的用户模型可以大大改善其推荐结果:(2)聚焦爬虫:文本分类器是聚焦爬虫的一个重要构件。本文提出应用基于混合模型的文本分类器以满足上述两种需求。