作为近年来新兴的视频编码标准，H.264/AVC具备很高的编码效率和优秀的网络适配性[1]，拥有十分宽广的应用前景。在其帧内编码中，编码器为图像的预测提供多种可以选择的方向模式，在选择最佳预测模式时，大大增加了率失真优化的计算复杂度。因此，编码器需要承受很大的计算量，降低了编码器的效率，研究帧内模式的快速选择方法迫在眉睫。视频编码中评价编码效率有三个指标：时间、PSNR和码率。在模式选择中，判别方法实质上也就是对这三者的综合评价。本文提出了一种自适应的帧内预测模式快速选择方法，通过研究RDO（RateDistortion Optimization）代价值和SATD （Sum of Absolute TransformedDifference）代价值的相关性，构建数学模型，预先对帧内预测模式进行粗选，减少RDO选择候选模式的数量，进而降低帧内模式选择的计算复杂度。由于SATD的选择方法避免了图像块的重建过程，其计算复杂度远低于基于RDO的选择方法。所以我们通过对这个问题的研究可以提高编码器运行效率，从而优化H.264/AVC编码标准。最终的实验结果表明，本文提出的快速模式选择算法相比JM11.0[2]的算法在保持PSNR（降低了大约0.06dB）基本不变和码率微小下降的情况下，时间平均节约了39.59%，提高了原始JM11.0算法的运算效率。