随着深度学习技术的发展,基于深度学习的目标检测取得了显著进步,然而小目标成像面积小、背景复杂,难以提取高质量的特征,使得小目标检测依然是个难点及热点。目前基于深度学习的目标检测框架分为三类:单一检测层结构、多尺度检测层结构和多层特征融合结构。针对小目标检测,单一检测层结构的目标检测框架使用深层特征检测小目标,小目标的特征信息损失严重,而且特征感受野与小目标的尺度不匹配;多尺度检测层结构的目标检测框架使用浅层特征检测小目标,浅层特征表达能力不足;多层特征融合结构的目标检测框架将多层输出特征融合在一起,使得深层特征的语义信息流向浅层,使用浅层特征检测小目标,然而没有利用特征层内各个特征通道之间的相关性,检测层特征的表达能力依然不足。本文在多层特征融合的目标检测框架的基础上,提出基于层内-层间融合的小目标检测框架,主要研究内容如下:(1)在基于多层特征融合的目标检测框架中,现有检测算法根据经验初始化预置框。在检测小目标时,根据经验初始化的预置框与真实目标相差较大,模型在刚开始训练时不够稳定。本文分析了经典K-均值(K-means)的三种改进算法,根据聚类任务特性,选择K-means++算法做适应性修改,聚类出预置框的宽高维度,这种初始化方法更接近真实目标,使得训练线性回归模型微调预置框更加合理稳定,提升了检测效果。(2)在基于多层特征融合的目标检测框架中,目前常用的模型归一化算法是批归一化(Batch Normalization,BN)。多层特征融合的网络结构较复杂,在实际训练过程中批训练量(batch size)设置较小,BN算法计算出的均值和方差缺乏统计特性,归一化效果较差。本文选择组归一化(Group Normalization,GN)算法归一化网络,该算法不依赖batch size,在批训练量较小的情况下也能取得较好的归一化效果。(3)在基于多层特征融合的目标检测框架中,多层特征融合网络探索了多个特征层之间的层间联系,本文分别从定性和定量的角度进一步对特征层内各个特征通道之间的相关性进行分析,设计出通道融合模块,将其嵌入到层间融合网络里,创新地构建出层内-层间融合网络,既利用特征层内各个特征通道之间的相关性增强各层输出特征的表达能力,又利用特征层的层间联系将表达能力强的深层特征逐步融合到表达能力弱的浅层特征上,该网络使用浅层特征检测小目标,提取了高质量的小目标检测特征。(4)仿真结果表明,本文提出的基于层内-层间融合的小目标检测算法在航拍车辆数据集上的mAP达到83.7%,大幅优于单一检测层结构的Faster RCNN和RFCN,小幅优于多尺度检测层结构的SSD,相比于多层特征融合结构的RON和RefineDet也有较明显的提升,检测速度达到可接受的范围内。