H.264/AVC是ITU-T和ISO联合推出的新标准，采用了近几年视频编码方面的先进技术，以较高编码效率和网络友好性成为新一代国际视频编码标准。 H.264/AVC仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有：增强的运动预测能力；准确匹配的较小块变换；自适应环内滤波器；增强的熵编码。这些新特征使H.264/AVC编码器提高50％编码效率，但也增加了一个数量级的复杂度，对应解码的复杂度也随之提升。测试结果表明，H.264 Baseline解码器比H.263 Baseline解码器的复杂度提高2.5倍以上。因此实际解码系统开发需要在程序结构、数据结构、算法实现和平台指令集等几个方面进行重新设计和优化。 作为国家自然科学基金重点项目“移动宽带视频广播传输系统及关键技术研究”和上海市科委重点项目“基于时空信噪比精细可分级实时H.264软件编解码的交互数字电视”的重要内容，本文主要研究并实现不同平台(PC与DSP)上的基于H.264/AVC的实时解码器。工作分为以下两个阶段： 第一阶段为H.264/AVC Main Profile实时解码器C代码的设计与优化和流媒体系统中FGS解码器的设计与实现两部分工作。第一部分工作主要包括重新设计程序框架、数据结构，采用快速而有效的算法以及针对 PC 平台的代码优化。其中作者负责程序框架、数据结构的设计，各个模块的整合，以及程序的调试。测试结果表明，实现的解码器能够实时解码D1分辨率以及D1分辨率以下的视频图像，而且具有较好的稳定性和可移植性，为后续DSP平台的实现打下了坚实的基础。第二部分工作，作者根据实际流媒体系统中的需要，设计了适合流媒体系统传输的码流结构，并设计实现了适合这种码流的FGS解码器，测试结果表明，实现的 FGS 解码器解码截断程度不同的增强层码流，可以生成不同质量的视频图像，实现了FGS功能。第三章主要阐述这阶段的工作。 第二阶段为基于TI TMS320DM642 DSP的解码系统实现。这一阶段实现了一个具有视频解码和图像显示功能的基于TI DSP的实时解码系统。主要工作包括PC解码核的移植，解码系统的软件构建，以及DSP平台下代码的优化。作者H.264/AVC实时解码器的研究与实现采用TI的建议，通过RF-5(Reference Framework 5)整合解码核和显示模块，并对PC解码核进行了一定的修改和优化，以提高其在 DSP 平台的运行效率。最后编写线性汇编，替代C代码的耗时模块，提高了5～6倍的运行效率，实现了具有视频解码和图像显示功能的实时解码系统。本文第四章将着重阐述DSP平台解码系统的实现与优化。本文的研究结果表明，H.264/AVC解码器经过重新设计和采用多种优化策略可以实现不同平台下的实时解码。