与之前的视频编码标准相比，H.264标准在提升编码性能的同时也使得实现的复杂度大大增加。H.264的帧间预测模块采用了更多样的编码尺寸、更加精细的运动矢量和更多的参考帧，运算量大，过程十分复杂。GPU的强大处理能力早期只能用于3D图像渲染，应用范围受到限制。CUDA(Compute Unified Device Architecture,计算统一设备架构)的出现使得GPU可以用于通用计算，为H.264编码算法的研究与改进提供了新的契机。　　本文研究了视频编码的基本原理，介绍了H.264编码器的结构，并对其中的帧间预测部分的原理进行了探讨，分析和总结了国内外学者在运动估计、模式判决等方面的研究。之后，本文结合GPU和CUDA的特点，对H.264的帧间预测部分进行了算法改进：在运动估计部分，对全搜索算法进行改进，先计算小尺寸分割的SAD值，之后渐进式的组合出大的分割尺寸的SAD值；将分散于各个宏块预测过程的拉格朗日因子的计算过程全部提至同一帧中所有宏块的预测过程之前；提出新的便于在GPU上实现的模式判决代价函数；而后，将同一帧中所有宏块的帧间预测过程整合到一起。接着，本文对运算过程中的数据做了抽象处理后排列为大规模的矩阵，使得原本运行于CPU上的包含复杂逻辑运算的帧间预测过程转化为运行于GPU上的大规模矩阵的简单大量运算。　　本文对提出的方法在NVIDIA GPU上进行了实现和验证，发现使用GPU进行视频编码中的帧间预测部分是可行的。编码形成的码流能够正确解码，视频图像清晰。编码速度得到提升，码率也保持在一定的范围内。