H.264/AVC是由ISO(国际标准组织)和ITU(国际电信联盟)联合发布的新一代的视频编码标准。它对移动通信、信息安全、互联网、广播电视等产业具有重大的意义。在保证视频质量的情况下,H.264采用许多新技术来减少传输视频的带宽和压缩视频的存储空间。与以前的编码标准相比,H.264取得了更好的编码性能。但是新标准的这些优越的性能是牺牲编码的复杂度为代价的,因此,需要提升编码器中计算复杂度比较大的模块的性能。本论文正是针对上述编码器计算复杂度问题,进行了下面的研究工作:1.对H.264当前两种常用的帧内预测算法进行了研究。这两种算法的目的都是为了降低计算的复杂度。第一种是通过设定阈值以减少帧内预测过程中参与计算的像素点。第二种是找出当前4×4子块帧内预测9种模式中最优的几种预测模式。2.研究了TF-IDF(Term Frequency-Inverse Document Frequency)分类器的方法,并加入到帧内预测过程中。每个宏块中的4×4子块模式遍历的个数减少,从而达到降低帧内预测复杂度的目的。实验结果表明,在维持PSNR和码率变化很小的的情况下,编码时间比全搜索大大减少。3.研究了基于纹理和宏块残差的帧间模式的选择,最后通过实验验证,该方法使得在码率和PSNR变化很小的情况下,帧间编码的时间减少。