彩色夜视技术可以将微光/红外双谱图像融合成一幅适于人眼观察的彩色图像，而恰当的场景解析方法能够对彩色夜视图像的内容做出自动化分析，进一步减轻人眼的观测负担，对实现夜晚或雾霾环境下的自动驾驶、机器人导航作业等现实问题具有极其重大的意义。传统的图像场景解析往往针对可见光图像展开，而面向彩色夜视图像的解析工作则十分缺乏。针对面向场景解析的彩色夜视图像数据库缺乏、色彩氛围多样、需动态扩充的难点，本文提出了两种实现彩色夜视图像场景解析的方法。　　本文主要研究内容为:　　(1)针对彩色夜视图像样本集（即数据库）缺乏，本文自主构建了一套规模较小的数据库。首先复现了12种彩色夜视融合方法，涵盖了诸如TNO、NRL、BIT、统计色彩映射等主流方法。其次，通过LabelMe在线注释平台，自行标注数据库图像的语义类别，得到了像素级标签的小数据库，为后续研究工作奠定基础。　　(2)针对彩色夜视图像数据库规模较小，无法训练大规模的模型参数，本文提出了一种基于非参数模型的场景解析方法。该方法无需训练大量参数，通过计算一些基础的数据统计信息，将待解析图像与样本图像通过全局和局部特征匹配，进行标签传递，进而实现场景解析。非参学习模型是快速实现本文数据库图像场景解析任务的理想方法。　　(3)提出了一种基于深度学习的彩色夜视图像场景解析方法，该方法采用迁移学习的思想，使得小数据库图像无需训练庞大的深度神经网络，也能从全卷积神经网络(FCN)中获得深度学习的特征。将本文的数据库图像输入预训练神经网络模型，得到各网络层特征，获取该模型从百万级可见光图像上学习得到的特征知识。随后将该特征作为条件随机场的一元项函数，通过条件随机场的优化，刻画出物体的边缘信息，从而进一步提高彩色夜视图像的场景解析效果。