H.264/AVC 标准是由运动图像专家组MPEG 和ITU 下属的视频编码专家组VCEG 联合制订的新一代低比特率视频压缩编码标准。它在继承现有视频标准中块变换、运动估计/补偿、量化和熵编码等成熟技术的基础上，采用了多种新技术,增强了H.264/AVC 标准的压缩性能并提供了“网络友好性”的应用。与现有其它标准相比，H.264/AVC 在率失真效率上有了显著的改进。为了进一步提高视频编码速度，促进视频编码技术在实时多媒体通信领域的应用，本文对H.264/AVC 的率失真优化算法进行了深入研究，根据宏块在不同运动预测模式下的特点，对各个分块运动矢量之间的相关性进行了理论研究和统计分析，提出了一种根据各分块运动矢量之间的相关性确定宏块的可选编码模式集合，从而进行快速率失真优化模式选择的算法。标准测试序列的测试结果表明，运用本文提出的率失真优化模式选择算法，可使H.264/AVC 测试模型在相同或相近编码率失真性能的条件下，编码速度获得显著提高。