三维计算机视觉的核心是从二维图像恢复三维物体可见表面的几何结构。作为计算机视觉的主要任务和目的，三维计算机视觉在工业、军事、医学、日常生活、娱乐等方面有着广泛和重要的应用。图像跟踪是三维计算机视觉中基于视频处理的必要步骤，多视几何研究是其中的基本原理分析，三维重建是核心目标和任务。本论文在两视几何退化、多幅图像的三维重建优化、基于视频序列的跟踪方面做了深入的研究，主要工作和创新性如下。　　 对所有由扭三次曲线造成的退化情况做了完备的分析，并给出了其对应的退化秩。同时还讨论了扭三次曲线退化与直纹二次曲面退化的关系，以及扭三次曲线退化与单应退化的关系。这些工作为基本矩阵的扭三次曲线退化检测提供了理论依据，并为鲁棒地估计基本矩阵提供了有力的帮助。　　 针对多视几何中低视差的三维重建，提出了一种基于Levenberg-Marquardt捆绑调整的新参数化方法。本方法能够根据空间点深度计算的误差分布自适应的调整空间点参数化形式，从而提高优化的稳定性和准确性。实验表明:本方法改进了常规方法对于低视差情况时的三维重建效果。　　 提出了一种基于码本的特征点跟踪方法。针对视角变化给图像带来的畸变等影响，采用了构造特征码库并在线学习的方式来提高跟踪的鲁棒性。根据隐形状模型建立的匹配投票计分模型使得算法对跟踪目标的遮挡问题有更好的适应性。实验表明，本算法在提高跟踪准确性的同时，能够满足实时运算的要求。　　 将计算机视觉中跟踪的方法应用于超声图像，提出了一种新的基于斑块特征辅助的跟踪方法。本方法将基于机器学习的检测和基于灰度的斑块跟踪统一到同一个概率框架下，从而使得跟踪的鲁棒性和准确性都得到了提升。并且使用了在线更新的方法来弥补肌肉舒张时非刚体形变带来的误差。