目前，多媒体通信技术的高速发展在改变着人类生活方式的同时，也对视频处理与传输提出了更高的要求。尤其是以交互式实时视频通信为代表的视频业务，其高带宽、低延时、低误码等要求使得视频业务成为整个多媒体通信的瓶颈。 为了实现更高的编码效率，目前国际上最新的视频压缩编解码标准H.264/AVC采用了多种新的编码技术，如多参考帧预测、多尺寸编码块模式、1/4像素精度运动矢量、整数变换量化、基于内容的熵编码、新型帧内预测、去除方块效应的滤波器等。与此同时，H.264/AVC编解码器的计算复杂度与其它视频压缩标准相比，也高出了几倍甚至十几倍，需要消耗大量的时间和系统资源。因此为了实现实时编解码器，需要寻找高效的优化算法，以减少巨大的计算复杂度。 本文主要从实时视频应用的角度，对H.264/AVC运动估计模块的快速模式选择算法进行研究。首先，将对H.264/AVC的主要功能模块以及其中包含的新技术进行详细论述。阐述帧内预测、多种块模式的帧问预测、1/4和1/8像素的运动估计、多参考帧、整数变换、CABAC和环路解块滤波器等新技术。接下来，本文进一步说明了H.264编码特性的效率与复杂性之间的关系，并结合H.264校验模型对于算法复杂性进行了分析，然后对编码过程中的复杂度极高的多模式选择算法进行了重点介绍。 多模式运动估计虽然使H.264/AVC比其他视频编码算法具有更高的编码效率，但同时也使计算复杂度的明显提升。因此本文在介绍运动估计已有算法的基础上，提出了一种新的适用于H.264/AVC的快速模式选择算法。此算法提前对块的细节程度和纹理方向进行分析，根据块细节程度缩小模式选择的范围，并根据块纹理方向对模式进行进一步筛选，从而大大提高了模式搜索速度，将性能损失控制在可以忽略的范围内。仿真实验的结果证明了本算法的有效性。