随着视频编码压缩技术的发展，特别是H.264标准的推出，以规则块为单位的视频压缩性能得到巨大提升。如何进一步提高视频编码性能，实现比H.264压缩效率高一倍的新一代视频编码方案，是视频领域近年来的研究重点之一。本文从非规则块模型的角度出发，对视频压缩中的双向预测帧、帧间运动模型和DCT变换等方面展开研究。关键点滤波匹配是一种基于弹性模板的图像匹配方法，适合表达各种形变运动。但弹性模板对遮挡较为敏感，本文提出基于双向匹配的遮挡修正模型，有效改善部分遮挡区域的主观和客观质量；而针对图像边界匹配问题，本文提出一种无约束边界扩展模型，有效解决图像边界失配问题。　　 本文将基于关键点滤波匹配的图像插值用于解决视频编码中双向预测帧的压缩。首先对直接跳帧编码进行测试分析，结果表明在中低码率下，插值图像质量与传统B帧相当，总体码率可节省约5-15％。分析表明模型失效、线性插值和非线性运动的偏差是造成插值图像客观质量不高的原因。针对模型失效，提出带局部补偿的跳帧编码思想，实验结果表明带局部补偿的跳帧编码比传统B帧编码在中低码率下节省码率5-10％，图像质量略高于B帧；高码率下图像质量不如B帧，但可节省码率10-20％。针对线性插值和非线性运动失配问题，依据人眼对短时间间隔内运动特性不敏感的特点，提出带主观加权的图像质量评价准则，根据该准则，进一步证实跳帧编码在中低码率更具优势的特点。　　 传统规则块运动估计，不符合运动物体的不规则边界。本文提出混合块分割思想：大的规则块和小的不规则块分割相结合。据此提出基于折线的块分割方法，采用一条折线拟合规则块内的物体边界，从而提高运动估计的准确度，结果表明折线分割比传统规则块分割的性能增益约02.-0.3dB。传统二维DCT无法有效处理倾斜边界，本文提出重排DCT思想，先对像素块进行位置重排，再进行DCT，从而提高DCT系数集中性，结果表明在中高码率，性能提高0.1-0.2dB。此外，还提出重排DCT与不规则块分割相结合的编码方法，利用不规则块分割信息表达重排DCT的方向，减少所需比特数，结果表明重排DCT与不规则块分割相结合，在各个码率下，性能增益均到达0.2-0.3dB。　　 视频压缩性能的提高带来运算复杂度的急剧增大。嵌入式MPSOC作为一种并行计算的处理器系统，适合数据量大、运算复杂度高的视频信号处理，同时，嵌入式MPSOC也面临着存储资源有限、调度复杂等问题。本文以实验室自主研发的嵌入式多媒体MPSOC(MediaSOC3201A)为平台，以MPEG4编码为例，对嵌入式MPSOC在视频压缩中的存储优化、多核调度等相关问题进行研究。　　 针对数据空间优化，设计了基于宏块的编码策略，数据空间比基于宏块组的编码策略节省了约52.1％。针对单核程序存储空间不足的问题，提出一种基于主从结构的MPSOC程序覆盖机制，对于MPEG4编码，单核程序空间可节省33.6％。针对MPSOC中多处理器调度复杂的问题，提出一种面向对象的调度策略，将各个处理器上的软件模块进行统一封装，分离调度和数据通信，实现多核调度的统一化。将MPEG4编码分离为变长编码和其他功能两个模块，分配在不同处理器上，采用面向对象方法对编码过程进行调度，相对于基于程序覆盖的编码机制，编码效率提升33.19％。