随着计算机网络、通信技术和电子产业的迅速发展，用户对流媒体服务有了更高的要求，实时、高清、准确成为用户追逐的目标，H.264/AVC标准就是在这种背景下制定的。它采用了可变尺寸块运动估计、整数DCT变换、1/4像素插值等新技术，使编码质量得到极大提高。联合视频小组(JVT)随后发布了扩展架构下的SVC标准，使得视频流在时域、空域和质量方面实现了可分级编码，满足了不同类型的应用需求。但是，编码质量提高的同时，编码器复杂度大大增加，尤其是模式选择环节占用了大量的时间开销。　　本文以H.264/AVC标准和扩展架构下的SVC标准为对象，深入分析了编码器的基本原理与编码流程，及标准中使用的关键技术；然后对帧内、帧间、层间预测编码过程作重点研究，最后在JVT的参考平台JM10.2和JSVM9.12上针对一些经典算法进行跟踪研究。在前一步工作的基础上提出两个模式选择优化算法：　　（1)在基本框架下，根据宏块运动特性对其分类，提出了一种快速终止模式选择过程的算法；　　（2)在扩展框架SVC标准下，利用基本层与增强层的数据相关性，提出了基于CBP值分类的快速模式选择算法；最后，通过实验对提出算法进行验证分析，结果表明，与标准中的算法和一些新提出的算法相比较，本文提出的算法在PSNR轻微下降，码率略微增加的情况下，可极大节省编码时间。