随着市场对于汽车的主动安全和智能化需求不断提高,国内外众多的企业、科研机构对于自动驾驶技术的研究日趋火热,其社会价值和经济价值愈发凸显。自动驾驶技术当前研究重点之一在于车辆的个体智能,包含车辆的感知、控制等多个方面,其中对道路环境信息的实时获取至关重要。目前,针对于智能驾驶技术,国内外提出了多种解决方案。双目视觉因其深度信息获取容易等优势,近年来备受关注,将其融入自动驾驶技术中,一定程度上可以提升自动驾驶的安全性。深度学习技术不断发展,使得物体检测门槛降低、准确率有效提升。为此,结合立体视觉算法及深度学习技术,本论文开发了一种基于双目立体视觉的多视点全景图像采集系统并将其与深度学习算法融合,实现对周边交通环境的检测及潜在危险的预警。本论文具体工作及成果如下:(1)自行搭建了一套360度全景立体图像采集系统,该系统由四路150度(对角线角度)双目相机以正方形拼接的方式组成,用以实现对水平方向360度全景立体图像的实时采集。该系统中,双目相机模组单目分辨率320x480,帧率30-60fps可调,以USB连接的方式与PC进行连接;(2)首次提出了一种基于特征匹配和图像互信息(灰度对矩阵)的图像配准及拼接方法。对比传统配准及拼接方式,本论文中提出的方法,在图像透视变换的基础上,通过行矫正及左右眼图像互信息关系进行图像的局部矫正和配准,并利用图像的柱面投影和反透视变换进行全景图像的拼接,实现全景图像的获取。该方法有效解决了拼接过程中视差变换所带来的重影现象;(3)利用深度学习算法,基于SSD模型对视频图像进行实时检测,实现对汽车、公交车、摩托车、行人四类物体的识别,并以矩形框的形式加以标注。结合矩形框内的深度点云信息实现对潜在交通危险的预警。测试结果表明,在GTX1080显示芯片和Intel Xeon E5-1650v3处理器搭配32G内存的系统条件下,本论文实现了对于4路320x480分辨率图像的实时拼接及特定物体的识别功能,拼接后帧率可达20fps以上,拼接图像无重影现象出现,物体识别准确率达70%以上,结合深度信息可实现对潜在交通危险的预警。