基于图像的三维重建中，三维点云是最为基础的一种模型。而对于直线、平面较为丰富的结构化场景，三维直线模型和三维平面模型可以更为有效地表达其中的结构信息。本文对结构化场景的三维直线建模和三维平面建模问题进行了研究，提出了一种基于直线信息的三维建模方法。该方法以现有三维点云重建算法为基础，可以高效地对结构化场景进行建模。本文主要工作包括以下几方面:　　1.提出了一种基于多视立体视觉的多视图直线匹配方法。该方法首先在多视立体视觉所获得的三维点云的基础上，通过构建三维点与图像直线之间的对应关系，建立一种图像直线之间的相似性度量。然后基于此度量，构建了图像直线之间的相似性矩阵，并利用图谱分析方法对图像直线进行聚类分析，有效提高了多视图直线匹配的可靠性和效率。　　2.提出了一种针对结构化场景的直线匹配扩散和三维直线建模方法。该方法利用已经获得的多视图直线匹配，对场景中点云缺失区域内的直线结构进行匹配扩散。匹配扩散过程利用了结构化场景中平面结构丰富的特点，在已匹配直线的邻域内寻找可能共面的直线，同时引入极几何约束、消隐点约束等，对直线进行了过滤和匹配。在此基础上，利用直线匹配和三维点云模型求取空间直线对应的空间点集，并对该点集进行过滤和拟合，进一步提高了空间直线的可靠性和精度。　　3.提出了一种针对结构化场景三维点云的主平面拟合方法。该方法以场景的三维点云和三维直线模型为基础，利用直线信息获得可靠的候选平面和平面间的约束。在能量优化框架下，通过构造合适的能量项，优化求取三维点云中的主平面。该算法利用直线信息提升了平面拟合效率，同时克服了传统基于点的平面拟合方法在平面边缘及细节平面处精度较低的不足。　　4.提出了一种基于三维点云分割的结构化场景三维平面建模方法。该方法在已经获得的主平面基础上，对原有点云中的缺失区域进行推断和补全。首先，利用点云分割方法将主平面对应的三维点集分割成若干区域，并产生候选平面集合。然后结合图像信息，通过能量优化的方法对各区域的深度进行推断，获得更为准确的平面结构。最后，结合图像分割确定各区域的边界，从而获得完整的三维平面模型。