H.264采用了很多新的技术，包括可变宏块大小分割、多参考帧、1／4像素精度运动估计、帧内预测、环形滤波等，大大提高了编码性能。特别是对于参考帧的选择、宏块分割的方式、预测方向的选定，都达到了自适应的效果。然而，与此同时，它的编码复杂度却有了极大的增加。其中，宏块模式的选择和运动估计是造成H.264编码器运算量大的最主要原因。本文研究的重点是减少模式选择的复杂度，在分析相关快速算法的基础上提出一种快速算法，以在不明显降低图像质量的前提下减少编码时间。针对H.264的快速模式选择，本文做了如下的研究工作：(1)在JM8.6参考软件的基础上，对基于率失真代价模型的标准模式选择算法复杂度进行了分析，从而阐述了进行快速模式选择的必要性。(2)通过在JM8.6中添加部分算法，实现了对所有模式在几种标准视频序列中所占比重的统计分析。结果显示，SKIP和inter16×16两种运算量较小的模式在整个序列中出现的比重平均达到80％，而运算量极大的inter8×8和intra4×4两种模式所占的比重却不超过10％。在此基础上，分析了快速模式选择算法的可行切入点，即对概率大运算量小的模式进行快速判决，对概率小但运算量大的模式根据某种方式缩小可选范围。(3)针对SKIP模式的快速判决，对两种比较常用的及自己提出的一种算法进行了实验分析，从判决准确率、漏判决率、编码质量、编码时间四个方面进行了统计和比较，结果显示，本文提出的算法是一种综合性能较好的方法。(4)对用inter16×16、inter16×8、inter8×16的率失真代价来缩小inter8×8子模式范围的方法进行了实验。结果显示它在不明显降低图像质量的前提下降低了编码时间约35％左右。(5)对intra模式的快速模式选择算法的必要性从统计上进行了分析，在此基础上提出了对于该模式的简化算法，即对于P帧，直接忽略intra4×4模式；对于Ⅰ帧，则保留其标准算法。实验结果显示，编码质量并无明显下降，但编码时间同样节约35％左右。(6)最后对综合了三方面的算法进行了实验分析。数据显示编码时间的降低程度提高到了接近40％而PSNR值相对标准算法降低仅仅0.05dB左右。且码率都有了轻微的下降。