集成学习是一类著名的机器学习方法,通过构建并结合多个学习器来完成学习任务,常可获得比单一学习器显著优越的泛化性能,在诸多实际应用中取得了成功。学习器之间的多样性是构建集成学习模型的一个关键因素。如何理解和度量多样性是集成学习中非常基础但尚未解决的问题。本文对集成学习中多样性进行了研究,主要取得了以下创新成果:1)提出了结构多样性概念,为集成学习多样性研究提供了一个新方向。以往的多样性度量仅考虑分类器预测行为的差异,而忽视了分类器本身结构之间的差异。本文针对决策树提出了一种结构多样性度量,并通过实验验证了其效用。2)提出了一种嵌入结构多样性的新型选择性集成学习算法DRSE(Di-versity Regularized Selective Ensemble)。该算法的基本思想是同时考虑集成误差、行为多样性和结构多样性,使用DCA算法求解。实验结果表明,该算法的性能显著优于现有选择性集成算法。3)提出了一种基于联结树的多元信息多样性(multi-information diversity)估计方法。多元信息多样性基于信息论来刻画集成多样性,其面临的困难是高阶信息通常难以估计。本文方法通过联结树来进行高阶信息估计,实验结果表明在同阶近似下,本文方法优于现有方法。