现今,医用内窥镜已经作为一种直观的医疗设备,被广泛应用于病情诊断和手术治疗过程。然而,对于传统的使用单相机的内窥镜系统,医生通过显示器只能观察到二维图像,依靠经验判断病灶的尺寸,选择手术器械,很容易因为判断失误导致手术时间过长甚至医疗事故。针对以上问题,本文提出并实现了基于棱镜的立体内窥镜系统。该系统利用棱镜折射的分光作用,在不增加内窥镜直径的前提下,通过立体视觉的整套算法流程,可以精确地测量出人体内部组织器官和病灶的大小,以辅助诊断的方式指导医生进行高效精确的手术。本文完成的主要工作有：第一,针对基于棱镜的立体视觉系统,定义“有效区间”和“最优距离”的概念。通过分析相机参数和棱镜参数对系统捕获图像质量的影响,给出了选择相机和棱镜的方法和标准。第二,提出一种可以表示棱镜折射过程的几何光学模型。将棱镜看成一个由许多平面组成的光学系统,根据几何光学的基本原理,通过分析推导出可以表示棱镜折射过程的数学模型,该模型以矩阵的形式表示出棱镜折射前后物点和像点的关系,可以用于任意位置、任意视角棱镜成像的计算。第三,提出棱镜位置计算方法。根据第二部分的理论,针对现有的棱镜单目立体视觉算法中理论体系不够完善,误差较大的缺点,提出了一种棱镜位置的计算方法。该方法将表示棱镜位置的参数简化为7个,通过推导出棱镜立体视觉系统的透视投影变换模型,利用差分进化算法解出这7个参数,从而得到精确的棱镜位置。第四,提出基于棱镜立体视觉系统的极线几何关系和三维重建方法。利用光线追迹结合棱镜成像,给出了棱镜立体视觉系统的极线几何关系。根据局部匹配算法找到对应点,通过求解两直线公垂线交点的方法进行空间点的三维重建。整套算法流程建立在精确的数学模型基础之上,可以应用于任何棱镜立体视觉系统。第五,根据以上的理论基础,设计并实现了医用内窥镜辅助诊断系统。整个系统由硬件部分和软件部分组成,分别完成图像获取和图像处理的任务。与现有的医用内窥镜系统相比,本文设计的系统,通过人机交互的方式,在显示图像的同时,可以计算出用户感兴趣的物体长度,为医生提供更加丰富的信息,起到辅助诊断和治疗的作用。实验结果表明,本文提出的整套棱镜立体视觉算法流程可以得到物体在三维空间中的精确坐标。与现有方法相比,可以将三维重建的精度提高2至6倍。可以扩大棱镜立体视觉系统的应用范围,并且很好地应用于棱镜立体内窥镜系统。