基于新的视频压缩编码标准H.264的运动估计算法的研究是当前H.264研究领域的一个热门课题。在深入研究H.264标准的技术特征、运动估计和补偿原理的基础上,针对H.264参考编码软件中的首选快速运动估计算法——UMHexagonS算法存在的缺点,参考已有的运动估计算法的思想和技术,本文提出了一种改进的UMHexagonS算法,接着在深入分析和总结已有运动估计技术优点的基础上提出了一种新颖的预测十字型八边形搜索算法。实验结果表明这两种算法分别可使编码时间平均节省约4.7%和9.9%。归纳起来,本文主要从以下几点展开:(1)研究了多预测块模式搜索、多参考帧预测、率失真优化编码模式选择、搜索范围和运动估计算法对应的编码参数对整个编码器性能的影响。通过一系列的实验分析,作者总结出了使编码器各项性能达到较佳水平的参数配置方案,对工程实践有重要的指导作用。(2)对UMHexagonS算法搜索模式中影响搜索效率的非对称十字型搜索模式、中心5×5区域螺旋全搜索模式和多层16点六边形模式进行了简化,并提出了一种搜索点数更均匀分布于同一圆周的八边形搜索模式作为多层搜索的基本模式,形成了一种改进的UMHexagonS算法——UMOctagonS算法。通过对改进算法的实现与实验分析,证明了改进算法在保持PSNR和位率基本不变的前提下,使编码器的复杂度有了一定程度的降低。(3)通过对大量运动估计技术的分析和对现实视频序列自身特点的统计分析,总结出了可以提高运动估计效率的几种关键技术,即基于运动矢量中心偏置特性的十字型搜索模式、基于时间和空间相关性的初始搜索点选择技术、提前终止阈值选择策略和适当的搜索模式组合。在此基础上,作者提出了预测十字型八边形搜索(PCOS)算法,特点是基于十字型和八边形搜索模式,以及采用适当的初始搜索点预测技术和提前终止策略。通过对PCOS算法的实现和实验分析,证明了PCOS算法在保持PSNR和位率基本不变的前提下,使编码器的复杂度得到大幅度的降低。