基于图像的场景语义理解是计算机视觉研究领域中的一项重要工作,且一直以来都是机器视觉相关领域研究热点和难点。室内场景图像的语义标注是图像场景语义理解研究的一项核心内容,其基本目标是为给定的图像(或室内图像序列中的一帧)中的每一个像素点稠密地标注一个预定义的语义类别标签。室内场景语义标注方法中通常以像素或超像素为标注单位,最终赋予每一个像素点一个语义标签。考虑到超像素具有较明确的语义且有利于提高计算效率,本文选定超像素为室内场景图像标注的基本标注单位。室内场景图像采集过程中,受到相机视野范围的限制、相机视点固定以及场景对象间的相互遮挡影响都会导致场景图像中对象部分投影,而使用基于连续视点采集的序列图像可以在一定程度上弥补缺失信息,对此本文研究室内场景标注中的时间上下文利用。此外,已有的大量研究工作表明相邻像素或超像素间存在一定的语义相似性,对此本文研究室内场景标注中超像素的空间上下文利用。考虑到多类上下文信息的增益,本文研究时空上下文信息的联合利用,提出了基于超像素时空上下文的RGB-D室内场景语义标注方法。具体工作总结如下:(1)基于超像素时间上下文的室内场景语义标注。首先,对待标注图像及其前、后帧图像计算超像素分割图,基于核描述子计算每个超像素的特征,基于光流计算待标注图像中超像素在前、后帧图像中的对应超像素,将待标注超像素与其在前、后帧对应超像素的特征拼接起来作为待标注超像素的特征表示,即超像素时间上下文特征。利用梯度提升决策树(GBDT)基于超像素时间上下文特征对超像素进行语义分类,从而获得室内场景语义标注。(2)基于空间上下文的超像素CRF模型。在超像素分割树基础上,考虑超像素(树的结点)、邻接超像素(树的同层节点)、不同尺度超像素(高度为1的子树)间的上下文关联,提出超像素CRF模型建三类空间上下文。超像素CRF的目标函数包含三个能量项,一元能量项表示超像素的语义概率值,二元能量项度量超像素间的语义差异,高阶能量项度量不同尺度且存在包含关系的超像素间的语义差异,使目标函数值最小的语义标注即为最终标注结果。(3)基于超像素时空上下文的室内场景语义标注。在前述超像素CRF模型中,利用基于超像素时间上下文计算得到的超像素语义作为一元能量项,实现基于超像素时空上下文的语义标注。本文在公开的室内场景数据集NYU-Depth v1和NYU-Depth v2上对所提方法进行实验,实验结果表明本文方法取得了较好的语义标注效果。