随着信息技术、图像处理技术的迅速发展,现代化外科诊疗手段正发生着翻天覆地的变化。计算机辅助手术系统与虚拟手术系统就是计算机信息技术应用于现代医学领域的其中两个重要成果。　　 人机交互是虚拟手术系统重要的组成部分之一,直接影响着用户的临场体验,对医疗部门外科手术经验积累和手术模拟训练,起到积极的作用。目前大型研究机构较多使用基于力反馈功能的输入输出设备。但因其购置费用高昂、技术支持获取困难以及技术细节保密等原因,力反馈设备在国内的中小型研究机构中难以得到推广。价格低廉,普及广泛的CMOS摄像头,结合越发成熟的机器视觉科学,使得利用传统的输入输出设备组建既具有经济效益又不失较强的互动体验的虚拟手术人机交互系统成为可能。　　 首先,本文针对摄像头实时跟踪问题,详细介绍了基于静态背景下的跟踪算法,并重点分析了两种实时算法的优劣,指出它们的缺陷以及给出改进方法。提出了一种适用于二维或三维实时跟踪的复合型光流算法。　　 其次,研究了虚拟手术器械的基本运动方式,详细介绍了各种基本变换的数学原理,并且提供OpenGL上的实现方法。　　 在最后一章,本文搭建了一个基于双摄像头的,简单的虚拟手术交互系统。该系统分为两大主要部分。复合光流算法,OpenGL三维建模,碰撞检测,对象拾取等技术均在该系统中有所应用。为了分析系统第一部分的实验结果,本文在经典LK光流算法三大假设的基础上,增加了两个假设,提出了基于最小二乘法的非标定分析法,并给出复合光流法与传统跟踪法的数据对比。最后,给出了系统各个模块的核心实现方法和效果图。