田间杂草对于甜菜等农作物的生长危害大,会和作物争夺日光与养分,若不及时将杂草除去,最终将导致农作物减产减量,因此及时且精准地将田间杂草除去逐渐成为人们关注的焦点,而除草的前提则需要准确将其识别出来。近年来随着精细农业概念的提出,一般利用人工和智能识别方法来进行除草,以保证甜菜等作物健康生长。人工识别主要依赖主观经验,且需耗费大量劳动力。智能杂草识别方法主要分为遥感识别和机器视觉识别。遥感识别通过采集杂草的光谱信息来鉴别杂草,但是对生长密度小的杂草鉴别效果不理想,所以现阶段较为主流的还是机器视觉识别方法,但基于机器视觉的方法仅能提取纹理、颜色等浅层特征,在实际复杂田间环境中会由于光照变换等因素导致提取的特征信息不清晰,从而影响识别精度。作为深度学习的一种,卷积神经网络能有效避免依靠先验知识的手工特征提取,比传统智能检测方法效果更好。然而现有未改进的深度学习模型在复杂背景下检测杂草和作物时也存在识别精度低等缺点。同时除草是一项劳动强度大、消耗时间长的作业,为了提高除草效率,降低劳动成本,不仅需要在白天光线条件较好时对杂草进行甄别,还需在夜晚缺乏光照的条件下同步进行。为此,本文以夜晚缺乏光照的实际田间环境下甜菜幼苗与杂草图片为研究对象,通过基于卷积神经网络的深度融合算法将杂草可见光和近红外图像进行多模态融合并结合改进的检测算法实现杂草的精准检测。其主要内容如下:(1)针对采集到的可见光图片中可能包含噪声,易受光照变化的影响从而丢失杂草和作物的形体、颜色等重要细节信息的问题,研究基于深度学习的多模态图像融合。在Li等提出的深度融合算法基础上对其进行改进后将杂草的可见光和近红外图像进行像素级融合,以充分展现多模态融合图像的特征显示能力。(2)由于图像的平移、旋转等变换可能会使得同一目标在图像中出现形变,导致模型对杂草的边缘特征信息不敏感,几何形变适应力差从而削弱了模型的细粒度特征提取能力。针对此问题,本文提出利用可形变卷积、目标检测专用骨干网络Det Net-59等方法让模型具备自适应拟合甜菜与杂草的几何形状的能力。(3)针对田间环境中,甜菜幼苗与杂草植株以及杂草之间存在重叠和遮挡现象导致模型的误检率和漏检率较高的问题,采用引导性生成区域建议框算法,以及改进的非极大值抑制法对网络结构进行优化,从而提升其对于负难样本的学习能力。研究结果表明,与基于经典R-FCN和YOLO V2的检测方法相比,本文所提出的Defor-DetNet-Soft NMS算法能显著提升复杂背景下的杂草甜菜识别性能,其均值平均精度(mean average precision,m AP)在多模态融合图像数据测试集上能达到91.7%。(4)在实现最优模型的训练之后,设计复杂背景下杂草与甜菜幼苗识别系统。通过Py Qt5和Qt Designer软件设计开发杂草智能检测系统,分别设计各个环节的GUI界面,以及进行不同操作步骤后的界面展示。综上所述,本文所提出的基于卷积神经网络的多模态深度图像融合方法和改进卷积神经网络的杂草和甜菜识别模型能有效解决夜晚缺乏光照的复杂田间背景下的杂草检测问题,识别精度高且鲁棒性强。最后通过相关软件设计开发杂草智能检测系统,可为后续全天候自动除草机器人的研制奠定理论依据,具有理论研究意义和实际应用价值。