图像描述任务类似于人类的看图说话,目的在于根据一张图像生成描述性语言。图像描述任务不仅能够为视力有障碍的人提供很好的辅助,还能够应用与社交媒体,医学,数字图书馆等方方面面的领域,使得计算机为更多的人带来便利。相比于计算机视觉的分类,检测,分割等任务,图像描述任务的难点在于不仅要识别图像中对象的属性与对象之间的交互,还需要学习人类语法知识,生成无论是语法还是语义上都通顺的句子。近年来随着深度学习的快速发展,基于注意力机制的encoder-decoder框架已经成为了图像描述任务的通用框架,并且被证明了能够生成基于图像内容的准确描述。然而随着后续研究的逐渐饱和,模型生成描述的准确性很难继续提升,体现在评价指标上的得分也难以提高。虽然针对评价指标进行强化学习的模型相比于基于交叉熵的模型在评价指标上有着一定的优越性但生成描述的通顺度却大打折扣。因此本文不采用强化学习的思路,而是对LSTM结构进行改进并应用多个注意力机制以适应图像描述任务。本文提出了基于多层多表示注意力机制的图像描述模型使得生成的描述更加贴近图像内容以及人类的描述方式。在模型的编码环节通过两种不同的编码器引入图像的多方面信息对原来的简单卷积过程进行优化,集成CBAM的ResNet能够提取图像的空间与通道两个维度的信息,Faster R-CNN能够提取物体的类别与轮廓信息。在模型的解码环节首先对词嵌入过程进行了优化,引入了BERT预训练结果赋予模型单词之间上下文关系以及语法的先验知识,生成语义信息更加准确的词向量。在结构上通过多层注意力机制,多表示注意力机制以及双层LSTM结构对解码器进行优化,并通过可视化分析证明了引入的注意力机制能够使模型正确地根据图像信息生成描述。模型在不同的评价指标上的得分超过了近两年论文的结果。最后,本文收集并制作了应用于图像描述任务的新数据集Shutterstock,包括700万张图片与每张图片的一句描述,在数据集的大小上远超过了MS COCO,Flickr30k等常用数据集,在数据集的质量上也体现了一定的可用性。