基于单目视频序列的非刚性动态目标三维重建是指从摄像机获取的二维投影图像序列中恢复出目标物体在每一帧的三维表面结构,从而获得随时间变化的目标的动态模型。非刚性动态目标三维重建是计算机视觉的研究热点和重要内容,具有重要的理论意义和应用价值。针对静态刚性目标的三维重建算法目前已发展成熟,并建立起一套较完整的算法体系,而非刚性动态目标的重建在近几年成为研究热点和待解决的关键问题。对于机器人系统或增强现实系统,对环境中的非刚性动态目标的三维重建是场景目标感知与理解的基础和关键技术,也是人机交互,虚拟与现实交互的必要前提。同时,动态目标三维重建也为虚拟内容的产生提供了方便快捷的方法。因此,这项技术在国防军事,机械制造,医疗,教育,通信,娱乐等产业中具有重要的应用价值。动态目标三维重建算法有很多分类,如基于标记点的方法,双目重建方法,多视角立体重建方法,多传感器方法等。由于传感器设备的限制,环境的多样,单目重建系统具有便捷和应用范围广的特点,对于某些只有普通照相机作为传感器的小型设备以及某些仅有视觉信号有效的场景尤为重要。然而目前大多基于单目传感器的非刚性动态目标稠密重建系统运行速率十分缓慢,远远达不到实时的标准。还有一些单目重建方案是非在线系统,所有的视频序列帧需要在获取之后同时处理。效率问题和非在线问题阻碍了单目动态稠密重建系统的性能和应用。目前高速率的单目动态目标稠密重建系统仍然是一个有待解决的问题。虽然有一些实时的单目重建系统出现,但均为稀疏系统,只追踪了少量关键点,并没有生成稠密的物体表面三维模型。故本文围绕基于单目视频序列的非刚性动态目标三维重建算法这一课题展开了研究工作,对其中的关键问题进行了深入探讨,在优化算法重建效果,提高计算效率,增强算法鲁棒性,拓宽重建方法的使用范围,解决非在线问题等方面做了研究。本文的主要研究工作与研究成果如下:1.搭建了一个基于模板的单目相机视频序列动态目标三维稠密重建系统,采用能量最小化的方法,求得目标物体时变的三维模型。基于单目传感器的重建系统结构简单,成本低廉,操作便捷。基于模板的重建方案提供了一种序列式的帧到帧在线重建方法,具有达到实时性能的可能性;且在处理基于点的系统,多尺度,遮挡以及模糊的情况下具有优势。采用了基于Iterative Schur(IS)的线性算子,IS算子结合了预条件共轭梯度算法和类似Schur complement trick方法,使得求解达到了更快的收敛,提高了重建效率。采用真实图像序列进行了实验,包括在遮挡情况下的重建,从实验重建效果和效率方面验证了本系统的可行性。2.构建了一种简单可控的基于单目视频序列的三维模板生成方法,该方法作为动态目标三维重建算法的预处理阶段,可实现多种复杂物体的模板构建,如人脸,人手等,拓宽了重建方法的使用范围。这一阶段需要刚性移动的目标物体的视频序列或从不同角度拍摄的目标图像集作为输入。首先,利用VisualSFM的标准刚体SFM(structure from motion)方法,得到序列帧的摄像机外部参数以及稀疏特征点重建数据,该算法有较高的准确性和鲁棒性。然后,通过多视角立体算法(Multi-View Stereo)为每帧输入图像计算密集的深度图。过高分辨率的深度重建不仅会大大增加处理的时间,同时也会产生更多噪点,故通过参数控制深度图的分辨率。最后,融合各帧深度数据形成点云,采用浮动尺度表面重建(floating scale surface reconstruction)算法重建一个表面网格模板。优化匹配的深度重建方法以及浮动尺度的表面重建方法,提高了算法在较强环境变化,不受控图像采集和数据冗余情况下的鲁棒性,使模板构建结果尽可能地保持一定的准确性。3.在AR系统中搭建了单目视频序列动态目标三维重建系统,实现了动态目标的三维重建和在虚拟环境中的虚拟动态对象生成与渲染。Hololens是当前应用最广泛,发展也最成熟的AR设备,它具有粗略地重建周围静态场景的功能,目前还不支持动态对象的重建和跟踪。此外,Hololens不向开发人员提供直接访问原始深度传感器数据的权限,而只提供粗糙的3D重建网格的接口。为了完成对环境中动态物体的重建,利用本文的单目动态目标重建方法对Hololens相机视频流数据进行处理是一个可行的解决方案。在应用到AR系统中时,平衡了效率与重建规模,规避了金字塔模型的冗余,采用网络通信将重建系统与AR系统进行分离,以提高运行效率。进行了相应实验,证明了该系统的可行性。