H.264/AVC是ITU-T和ISO联合推出的视频编码新标准,采用了近几年视频编码领域的一系列先进技术,以较高的编码效率和网络友好性受到人们的广泛关注。H.264/AVC设计的最初目标是在相同解码质量下,能够提供比MPEG-4和H.263高一倍的压缩性能。为了实现高效压缩,H.264/AVC中采用了大量的新技术。包括:帧内预测;可变块大小的运动补偿;1/4像素精度的运动估计;多参考帧预测;4×4整数变换;上下文自适应二进制算术编码;去方块环路滤波。采用了这些先进的编码技术后,编码性能和解码质量都获得了很大的提高。H.264/AVC中采用的这些先进编码技术既增加了基本模块的复杂度,也成倍增加算法的复杂度,这就限制了H.264/AVC的应用,尤其是在实时视频通信和一些嵌入式应用中,所以本文进行了一些改进算法方面的研究。首先,由于运动估计乃视频编码中计算量最多的地方之一,而传统的快速算法又不能兼顾搜索速度和搜索精度。本文提出一种基于矢量预测和模式自适应的快速运动估计算法。针对运动矢量场的中心偏置性和时空相关性,对一些可能性很大的候选点进行提前终止计算,预测起始点;根据运动类型自适应的选择搜索策略;对于不同的运动类型,采用3种不同的搜索策略。对于小运动类型,采用类似小菱形搜索;对于中等运动类型,采用六边形搜素;对于大运动类型,采用正方形-六边形搜索。实验结果表明,本文算法的搜索精度和搜索速度优于现有的大多数快速运动估计算法。其次,基于率失真优化的可变块大小的运动补偿是H.264/AVC中另外一个计算复杂度很高的地方,本文通过实验分析了实际编码中块的划分模式特点,结合一种基于残差纹理分析的快速块划分算法,通过对SKIP模式的提前判断和通过对宏块时域相关性和空域相关性的比较来确定是否选择帧内模式。提出了一种改进的基于残差纹理分析的快速块划分算法,实验表明,该改进算法在原算法的基础上减少了一定的计算量,而且对编码效率和图像质量的影响较小。