VP9与H.265/HEVC同属最新一代视频编码标准,且两者编码性能相近。由于格式开源且无使用授权费,VP9在高清与超高清视频编码应用领域受到了越来越多的支持与推广。与上一代视频编码标准VP8相比,一系列新技术的引入使其编码性能提升了近一倍,即在降低近50%码率的前提下保持相同的视频质量。然而,编码性能得到改善的同时也伴随着编码复杂度的大幅提升,严重限制了其在一些实时编码场景下的应用。为此,本文针对编码器中复杂度占比最高的超级块划分模式选择进行优化处理,并针对不同应用场景的不同限制要求实现了复杂度的自适应控制。针对CU模式划分复杂度过高的问题,本文首先剖析了影响四叉树递归划分过程的主要因素,并基于块划分与不划分特征差异性对划分模式进行快速预测。与传统分类算法不同,本文采用离线训练所得BP神经网络模型作为分类器。其输入为能够表征块空时域特性的36个SAD值,输出为相应块划分模式,且网络训练时充分考虑了误判决对编码性能的影响。为了简化模型结构并提升分类器性能,本文提出将复杂的四叉树递归划分过程建模成一个三层二分类模型,即针对不同的QP和块大小分别获取不同的网络模型。最后,通过结合所有分类器输出结果,可得简化版的四叉树结构。所提算法仅需对简化后的四叉树进行遍历,从而避免了大部分不必要的块遍历,大大的提升编码效率。为了进一步实现复杂度的自适应控制,本文首先获取分类器输出模式置信度信息,并分析输出模式置信度与预判决准确率之间的关系。考虑到两者之间存在高度一致性,本文提出设置一个阈值参数对概率较大的决策模式直接采用,而对过于模糊的模式输出进行RDO处理。并通过改变不同层分类器的各个阈值参数的取值,实现超级块划分模式候选集的自适应缩减。为了实现目标复杂度的精细匹配,本文按复杂度控制强弱建立了一个阈值参数候选集,并动态为每一帧设置一组不同的阈值参数,以将帧级复杂度控制在一定的范围区间。实验结果表明,该算法能够非常精准的将编码复杂度控制在一个较大的范围区间。其中,上限对应原始编码性能,此时没有复杂度优化;下限对应复杂度的最大程度优化,此时编码性能损失也最为严重。且在总编码复杂度降低40%的前提下,编码性能小幅度下降。