在汽车保有量日益增长的背后,交通事故严重威胁着人们的生命财产安全。驾驶环境复杂多变,未能及时准确检测到车辆周围的障碍物是交通事故频发的主要原因。为保障出行安全,在智能驾驶时代,对车行环境中的障碍物感知技术提出了高精度、高实时性的全新要求。传统的有人驾驶汽车,驾驶员获取的80%信息来源于视觉,因此,挖掘基于视觉的障碍物感知技术极具应用潜力。本文主要针对传统障碍物检测与识别方法识别精度、可靠性与普适性难以满足智能车和无人驾驶车辆的技术要求,传统检测设备造价昂贵等问题展开研究。以深度学习为基石,将基于卷积神经网络的方法应用到车行环境下多类障碍物检测与识别研究中,设计一种识别精度高、普适性好的障碍物检测与识别系统。本文具体工作主要包括:研究障碍物区域提取算法,在分析基于图像底层特征、视觉注意模型、人机交互以及对象四类ROI提取方法的基础上,考虑实际车载视频数据量巨大,基于区域生长算法,改进设计出一种最大方差法结合形态学操作自动提取障碍物区域的方法。该方法变换RGB颜色空间的车载图像至Lab彩色空间,使用像素灰度级特性与最大方差分割障碍物与背景,应用形态学操作消除图像冗余物体,填补区域空洞,平滑边界,采用规则图形从车载图像中提取出障碍物部分,创建障碍物数据集。搭建适用于车行环境多类障碍物检测与识别的深度卷积神经网络。以AlexNet网络模型为原型,基于Deep LearnToolbox工具的Caffe框架,搭建包含障碍物检测与障碍物区域推荐的15层网络。具体为用于障碍物特征提取的五层卷积层和两层池化层网络,用于生成障碍物推荐区域的四层RPN网络,作用于每个感兴趣区域生成固定尺寸的特征映射图的一层ROI Pooling层,两层全连接层用于数据降维与目标特征的进一步提取,输出层设定5个神经元,即检测与识别的障碍物共五类。以本文创建的障碍物数据集和PASCAL VOC 2007和PASCAL VOC 2012数据库中的图像为数据样本,训练与测试深度卷积神经网络。为降低网络复杂度,解决网络过拟合问题,采用网络优化策略对深度卷积神经网络进行优化。对网路训练过程中的自由参数进行可视化分析,以观察网络结构设计的合理性;增加局部响应归一化层对输出神经元进行横向抑制,提高网络的泛化能力与目标检测精度;研究网络过拟合问题,采用Dropout与DropConnect去网络过拟合,通过实验分析两种去过拟合方法对网络目标识别的改善效果。采集真实环境下的车载视频,对本文提出的障碍物检测与识别方法进行测试验证。试验结果表明,本文提出的算法能够对车行环境下的轿车、行人、摩托车等多种类别的障碍物进行高精度的实时检测与识别,相较于传统高斯混合模型结合卡尔曼滤波障碍物检测方法,障碍物检测类别得到完善,提高了检测精度,算法普适性较好,实验设备成本较低,具有良好的理论价值与实用价值。