近年来,随着硬件计算能力的提高,深度学习在计算机视觉的浪潮中得到了快速的发展。当人们看到一张图片的时候,可以快速的依据自己的知识对图像语义信息做出理解。但是,如果希望机器像人一样对图像内容做出一定的判断,那么机器就需要大量的数据进行学习,提取图像的特征,建立图像模型,对图像进行深度理解然后输出结果。为了关注图像中最丰富的视觉语义信息区域,研究人员在提出了注意力机制的概念。注意力机制在自然语言处理和图像深度理解任务中扮演着至关重要的角色,与人类的认知系统相一致。注意力机制广泛地应用于图像理解的各个方面中,比如,语义分割,图像描述,目标检测与跟踪和行人再辨识等领域。本论文旨在研究注意力机制在图像描述和行人再辨识领域中的应用。其中,图像描述可以理解为给出一张图生成一段文字描述,行人再辨识可以理解为跨摄像头下的图像检索。二者都是基于图像语义的深度理解之上,通过对图像内容的理解,模型输出预期的结果。本论文以注意力机制在图像理解应用中的两个子任务为研究内容,阐述了深度卷积神经网络和注意力网络相结合的基本步骤。然后对涉及到的关键技术进行分析,介绍了注意力机制在图像理解两个子任务中的应用方法,以及该方法存在的不足,在此基础之上进行改进。本论文的主要工作为:1)提出了一种基于多层级视觉融合的图像描述模型。在视觉策略网络中通过多层级子神经网络模块将视觉特征转化为视觉知识的特征集。融合网络生成使描述语句更加流畅的虚词,用于视觉策略网络和语言策略网络的交互。在语言策略网络中使用基于强化学习的自批评策略梯度算法对视觉融合网络实现端到端的优化。在融合网络中设计的自适应注意力机制,可以有效的减少非视觉信息梯度对视觉信息梯度的干扰,加快网络训练过程的收敛。最后在语言策略网络中运用强化学习优化暴露偏差和误差累积等问题。通过在多个开源的数据集上进行定量分析和定性分析,以及和其他模型方法进行比较,充分验证了模型的有效性。2)提出了一种基于局部注意力机制和语义解析的行人再辨识模型。由于受行人姿态变化、光照视角和背景等因素的影响,行人再辨识在图像理解领域是一项充满挑战性的任务。为了提高辨识的精准度,最近的研究通过对数据集中的行人分成若干块提取图像的局部特征进行辨识。但此类方法存在着人体局部特征不匹配,以及会丢失非人体部分的上下文线索等问题。为了解决以上问题,本论文首先运行一个语义分割模型图像进行分割,然后将分割后特征图在进行分块,利用精确的局部特征增加人体语义解析对任意轮廓的建模能力。此外,考虑到局部区域的遮挡物体对图像理解的重要性,使用局部注意力网络捕捉非人体部分丢失的语境线索。最后在三个主流的数据集上进行大量的定量实验和消融实验,验证了模型的有效性和分析了局部注意力机制对模型的贡献。