论文部分内容阅读
三维重建(Three-Dimensional Reconstruction)近年来一直是计算机视觉领域中的热点问题。尽管众多该领域的专家学者致力于三维重建的研究,但在增强现实、智能交互的相关应用中,复杂的虚拟环境带来了数以亿计的点云(Point Cloud)数据,且复杂点云之间存在相互遮挡的问题,导致现有的三维重建方法在处理大量且复杂的点云数据时,会出现重建效率低、重建精确度低、重建效果不佳等情况。而在物件种类多、点云更为复杂的室内环境下,此类问题尤其突出。因此,本文结合室内环境下三维重建的相关特性,将传统的点云匹配方法与新型的语义分割网络相融合,提出了一种全新的针对室内环境的三维重建方法。具体工作如下:1.本文首先讨论了三维重建研究工作的发展现状与研究趋势,结合不同视觉传感器所收集的视觉信息,分类探讨了不同的三维重建类型。然后针对目前室内环境三维重建的特性,分析了利用深度传感器(Kinect)获取室内多视角三维场景的深度数据类型,总结了当前室内场景下三维重建的特性、缺陷及发展方向。2.针对Kinect在室内环境获取的三维数据在重建过程对计算性能要求较高、重建精确度低、场景限制程度高的特点。提出点云匹配与点云稀疏化融合的三维重建方法。基于稠密性点云匹配对多视角彩色深度(RGB-D)图像数据进行建模,并利用该模型产生室内环境的三维点云,计算重建偏差及重建效率,然后利用八叉树数据结构对点云空间进行划分与压缩,构建三维空间超点(Super Points)模型,最后通过超点模型构建场景影像标签进行三维重建。3.本文针对各类增强现实三维重建应用中,存在实时性较差、重建效果不佳的不足,提出一种基于语义分割与点云匹配融合模型的室内环境三维重建方法。利用多模态RGB-D影像与相对应的多视角影像标签作为训练数据,使用语义分割网络(SegNet)进行监督学习。该方法标记了各视角下物体的空间位置信息,最后通过该模型对室内环境进行三维重建。理论分析和实验结果表明,本文提出的语义分割与点云匹配融合模型能够对复杂室内环境进行三维重建,能在保证良好重建效果的基础上,具有较高的重建效率,与同类方法相比具有较高的实时性和较好的重建效果。