在过去的十几年中,国际标准化组织制订了一系列的国际视频编码标准并广泛应用到各种领域。其中,ITU-T制订了满足实时视频通信应用的标准,例如H.261、H.263、H.263+和H.263++;ISO制定了满足视频存储、广播视频和视频流需要的MPEG标准,包括MPEG-1、MPEG-2及MPEG-4等。而H.264/AVC是ITU-T和ISO联合推出的新标准,采用了近几年视频编码方面的先进技术,以较高编码效率和网络友好性成为新一代国际视频编码标准。H.264/AVC仍基于以前视频编码标准的运动补偿混合编码方案,主要不同有:增强的运动预测能力;准确匹配的较小块变换;自适应环内滤波器;增强的熵编码。测试结果表明这些新特征使H.264/AVC编码器提高50%编码效率的同时,增加了一个数量级的复杂度。实际中恰当地使用H.264/AVC编码工具可以较低的实现复杂度性得到与复杂配置相同的编码效率。故实际编码系统开发需要在运算复杂性和编码效率之间进行折衷,兼顾考虑。H.264/AVC引入的新编码特征既增加基本模块的复杂度,也成倍增加算法的复杂度。针对它们的作用和实现方法的不同,可采用不同的优化方法:对于基本模块可用多媒体指令来优化;对于实现算法可研究快速算法来代替。本文基于上述思路进行优化,具体的工作包括:针对帧内预测编码的复杂性,本文阐述一种基于率失真优化(RDO:Rate Distortion Optimization )的快速帧内预测模式选择算法。该算法利用当前宏块色度块和亮度块帧内预测模式间的相关性、4×4亮度块和16×16亮度块模式选择间的相关性以及亮度块预测模式内部的相关性,以RDO为主,结合较简单的SATD(Sum of Absolute Transform Difference)为判决依据快速进行帧内预测模式选择。针对整数变换的复杂性,本文阐述一种整数变换零块预先判决算法通过计算SAD值来判断是否为零块,减少了DCT变换和量化的次数,并且提前终止了位移估值和整数参数改进算法,笔者提出的改进办法,在原有H. 264的算法基础上,更加快速、有效地提高效率,精度没有大的变化。优化后的参考模型适合精度不高,处理速度快,实时性强的工业应用。实验结果表明,上述的优化编码器在普通PC机上就可实现实时编码。与其它同类型编码器相比,编码性能相当或略好些。