作为新一代的视频编码标准,H.264提出了许多新的思想和算法,大幅度提高了编码效率和图像质量。但H.264编码效率的提升是以计算复杂度的增加为代价的,与MPEG4简单配置相比,H.264主要配置下解码复杂度提高了3倍以上,而编码复杂度更是增加了10倍。本文的主要工作是对H.264软件编/解码器进行从算法级到程序级的全面优化。在算法方面,分别提出了用于提高速度的快速帧间编码预测模式选择算法和CAVLC码表查找算法,以及用于视频监控环境下提高编码效率的基于背景帧的运动估计和运动补偿算法。(1)本文中提出的快速帧间预测模式选择算法通过对原始图像的1/2低分辨率缩略图进行预编码,并将预编码过程中获得的预测模式映射为实际编码过程的一个预测模式子集,有效的减少了待测预测模式,从而较大幅度的提高了编码速度。(2)本文提出的CAVLC码表查找算法通过将二维码表转换成二叉树形式,避免了对整个码表的遍历查找过程,使查找速度提高。(3)针对视频监控的特定应用,本文中提出了一种基于背景帧的运动估计和运动补偿算法,通过对背景图像的提取,以及运动物体的检测,使待编码图像中的背景部分和运动物体部分分别在背景图像和普通的参考图像中进行运动补偿,减小了运动补偿后的残差,提高了编码效率。在程序级优化方面,通过对程序结构的调整以及使用MMX/SSE指令对较费时的4x4整数变换和亚像素插值部分进行改写,进一步提高了编/解码的速度。笔者使用C++重新编写了基于Baseline配置的H.264编/解码器,并提供了VFW/DIRECTSHOW接口,便于配合现有的多媒体转码和播放软件使用。同时编码器速度较相同配置的参考软件提高了10倍以上,解码器速度提高了3～4倍。