如何利用图像中的视觉信息对现实世界中的场景进行三维重建一直以来都是计算机视觉领域中的研究热点,其理论成果在测量、虚拟现实、电影娱乐以及文化遗产保护等领域都有广泛的应用。三维重建技术涉及特征点提取、图像匹配、多视图几何理论、数值分析方法、计算机图形学等多个领域的理论方法,并且每个环节都对重建结果有着至关重要的影响。本文设计并开发了基于图像的三维场景重建系统。输入由普通数码相机拍摄的多幅图像数据,该系统就可以自动地将该三维场景重建出来。并且为了满足不同应用的需求,可以输出稀疏点云、稠密点云和三维模型三种重建形式。该系统由特征点检测与跟踪模块、三维结构恢复模块、稠密点云重建模块和表面重建模块四部分组成,论文主要围绕系统的四个模块进行了研究。论文首先对特征点的检测、匹配及跟踪方法进行研究。采用SIFT算法解决图像数据可能存在旋转变化、尺度变化及光照变化等的问题,并通过构建图像连接图描述图像间的关系,快速地实现特征点的跟踪。其次,研究了三维场景的三维结构恢复方法。通过特征点检测与跟踪模块获取的特征点跟踪信息,采用对极几何、全局优化等算法实现对摄像机参数的恢复及三维场景的稀疏点云重建。为了简化重建的过程,将图像的EXIF标签信息作为优化的初始值,实现对摄像机的自标定。再次,研究了三维场景的稠密点云重建方法。对多视立体重建PMVS算法进行研究,阐述了面片模型、光度差异性函数、面片优化及图像模型,给出PMVS算法的完整实现步骤。针对本系统的特性,对PMVS算法进行改进,提高了算法的执行效率和精度。基于三维结构恢复模块得到的三维结构和摄像机参数,采用改进的PMVS算法逐步扩散得到场景表面的稠密点云,可以很好地满足本系统稠密点云重建模块的需求。最后,研究了三维场景的表面重建方法。泊松表面重建算法能够推断表面的拓扑结构、过滤噪声数据、合理填充孔洞、调整采样数据、划分模型网络,因此本文采用泊松表面重建算法将稠密点云转换为三维模型。但是由图像生成的三维空间点云,存在噪声大、稀疏、分布不均等问题,导致泊松表面重建算法获得的模型包含很多噪声面。针对这一问题,本文给出了后期处理方法,实现了较高精度的表面重建。