注意力机制是一种模仿人类视觉的处理机制。它通常包括三个阶段:相关性计算,归一化数据,加权处理数据。相关性计算主要通过合适的相关性计算函数得到相关注意力系数,归一化是为了规整数据,加权是对数据重新处理以便于关注到更重要的信息。在深度学习的各领域中,注意力机制被广泛应用。但在传统机器学习算法中的应用十分少见。基于K-Nearest Neighbor（KNN）的经典分类算法是单标签分类任务中有效且直接的解决方案。由此产生的多标签K近邻学习方法（ML-KNN）是多标签分类任务中经典方法。它首先寻找到测试样本在训练样本集合中的K个最近邻。然后,从K近邻样本的标签集中获取属于每个可能类的实例数量,最后测试样本的标签集基于最大后验概率（MAP）原则来确定。上述方法在分类时都忽略了不同训练样本对测试结果会产生不同影响的问题。而注意力机制致力于加强正面影响,降低负面影响。基于此,本文提出了基于注意力的局部均值K-最近质心邻居分类器（ALMKNCN）和基于注意力的自然场景多标签半监督算法（ASML-LP）。具体来说,ALMKNCN在单标签任务中,将注意力机制与基于K近邻的局部均值分类算法结合。该方法先找到测试样本在训练样本集合中的K个近邻并计算出局部均值向量,再根据均值向量与测试样本的相关性值加权到分类距离上以提高分类器的分类性能。然后进一步考虑在多标签分类任务中很难获得带有完整标签集的训练数据,特别自然场景图像分类因包含复杂的背景和多种标签而成为多标签分类任务的一大挑战。因此基于ML-KNN方法,本文提出一种基于自然场景的多标签半监督算法（SML-LP）,该方法结合最大后验概率预测和标签传播方法实现对部分没有标签的数据预测标签与消歧,并分别基于有标签和无标签数据对测试样本进行标签预测。考虑到不同训练样本对测试样本的分类影响问题,本文进一步提出了基于注意力的自然场景多标签半监督算法（ASML-LP）,该方法在SML-LP方法的基础上结合注意力机制充分考虑了每个训练样本对测试样本的分类影响,通过计算注意力系数并对测试样本加权以提高算法的分类性能。提出的方法ALMKNCN与当前主流的基于KNN的方法在真实数据集和人工合成数据集上进行了实验比较。方法ASM-LP的实验是基于经典的自然场景数据,和几个最近发表的包括全监督、半监督的多标签算法进行对比。实验结果表明,提出的算法均优于基准算法,为机器学习分类算法的进一步性能提升提供了一种有效思路。