随着经济发展和技术进步,市场对高性能视频业务的需求不断膨胀,原有视频编码标准已不能满足要求。2003年,ITU-T的视频编码专家组VCEG及ISO/IEC的运动图像专家组MPEG联合制定了新一代视频编码标准H.264/AVC,该标准具有很高的压缩效率和良好的网络适应能力,将在数字视频通信和存储领域得到广泛应用。然而,H.264的高压缩效率是以高计算复杂度为代价的,其高度的计算复杂性已造成软硬件实现的瓶颈,因此建立低复杂度的视频编码器就显得尤为重要;另外在软件编解码情况下,可利用的处理器资源随不同平台或占用该资源的任务数量而变化,要求计算复杂度不再固定。在以电池为驱动的手持终端上,考虑到功耗问题,也要求编码复杂度随时可控。目前,面向H.264开展快速编码算法研究以及复杂度-失真研究已成为业界和学术界关注的热点。本文针对这两方面开展了以下创新性研究:首先,对于H.264参考编码器JM中比较耗时的帧间模式选择和运动估计模块,本文分别提出了自适应的帧间模式选择算法和多参考帧快速选择算法,并在此基础上对JM进行了局部代码优化,建立了低复杂度的视频编码器JM_OPT。其次,综合分析运动估计模块各编码参数对复杂度、失真和编码比特率的影响,针对JM_OPT提出了复杂度可分级的运动估计算法;考虑H.264整数变换、量化和Zig-zag扫描的特点,基于DCT截断思想提出了复杂度可分级的DCT算法。通过对这两种算法进行综合考虑,针对JM_OPT建立了基于参数的复杂度可分级的视频编码框架,通过调节复杂度控制参数即可实现复杂度的可分级性,从而在视频质量和复杂度间形成良好折中。在此基础上,针对复杂度控制和码率控制的特点,本文提出了帧间复杂度最优分配算法以及复杂度-速率联合控制策略,建立了复杂度-失真模型,该模型能根据终端处理器的计算能力或者功耗的变化自适应进行计算复杂度的调整。考虑智能手机在计算能力、内存和功耗等方面的特点,本文最后在智能手机模拟器上对复杂度-失真模型进行了仿真,实验结果验证了该模型的可行性。