RGB-D相机是一类重要的传感器,相较于传统彩色相机,它同时提供了可见光彩色图像和稠密的深度图像,为许多高级视觉算法提供了丰富的数据源,因而在智能感知领域备受关注。在过去的几年中,以Microsoft Kinect和Asus Xtion为代表的消费级RGB-D相机的出现,极大地推动了机器人技术、增强现实、虚拟现实和三维重建等领域的发展。另一方面,以卷积神经网络为代表的深度学习正处于蓬勃的发展之中,在物体检测、图像分割等任务上均有不俗的表现。目前,将RGB-D相机与深度学习相结合已成为一个新的研究热点。场景感知是指利用传感器对当前场景中的重要物体进行识别和定位,本文将RGB-D相机在室内外场景感知中的应用作为研究对象,就如何将RGB-D相机提供的信息丰富的三维形貌与图像分割技术相结合做了深入的探索。RGB-D相机在室外的典型应用场景是自动驾驶,通过彩色图和深度图对车辆、行人和路缘等重要物体进行识别和定位,能够有效提高自动驾驶的安全性。本文为自动驾驶设计了 一个由RGB-D相机和偏振相机组成的多模态传感器,基于importance-aware 损失函数训练 了一个语义分割网络,提高 了网络在重要物体类别上的分割精度;将语义分割结果与深度数据融合,设计了一个路缘预警算法,通过点云投射和鸟瞰图转换,该算法能够及时检测到路缘与车辆的距离;基于偏振检测和跨模态数据融合,提出了一种高效的水面检测算法。在室内场景中,RGB-D相机多用于三维重建,然而传统的三维重建更多关注重建后地图的几何精度,对地图中的语义信息欠缺关注,因而限制了室内三维重建在人机交互中的应用。本文基于帧到模型匹配的原理提出了 iFusion,将单帧图像实例分割的结果增量地融合到三维地图中,扩充了地图的语义信息,为更加智能的人机交互提供了可能性。实验结果表明,通过RGB-D图像提供的帧与帧之间的关联,三维地图有效融合了多帧实例分割的结果,相较于单帧实例分割具有更高的精度。