软件定义网络（Software Defined Network,SDN）因其转控分离和网络可编程性的特点,是5G网络的关键技术以及最具潜力的下一代网络解决方案之一。业界对其研究势头有增无减,在骨干网、承载网、接入网中开展了越来越多的研究和落地工作,本文聚焦于骨干网的SDN方案。但是,建设SDN网络不是一个革命过程,而是从原有的传统IP网络逐步升级到SDN网络的演进过程,这样的动态升级过程需要经过多个升级阶段,每个阶段决策升级哪些（Which）交换机、交换机升级的顺序（When）以及如何部署控制器（ho W）三个方面（3W）的内容,从而完成从传统IP网络过渡到混合SDN,再到纯SDN网络的升级过程。最优的动态升级策略既要保证每一步升级带来的网络可编程性最大化和控制器部署后的混合SDN网络性能最优,称为局部双目标,也要确保升级后持续运营的纯SDN网络的性能最优,称为全局单目标。但是,每一步的局部目标与最终的全局目标存在时序正反两个方向上的复杂影响,使得同时考虑上述三个方面（3W）,得出最优动态升级策略具有难度。本文发现和研究了上述最优动态升级问题。论文的第一个创新工作是同时考虑3W问题,将最优动态升级问题建模为一个双目标动态优化模型,在整个升级时序中（when）,同时优化交换机升级（which）与控制器部署（how）;通过引入随时间变化的退化因子,刻画局部双目标到全局单目标的变化过程。与已有的交换机和控制器联合部署的双目标优化模型不同,本文提出的双目标是动态变化的;与经典动态优化模型不同,本优化模型在时序的正反两个方向上都存在动态性。论文的第二个创新工作是,通过引入反向惩罚项,将双目标动态优化模型转化为一系列可以直接求解的单目标模型。进而提出启发式算法,通过改进遗传算法,得到基于SDN匹配关系的遗传算法（SM-GA）和基于互补交叉变异的遗传算法（CCM-GA）分别求解惩罚项与最优动态升级策略。第三个创新工作是,将升级过程看作马尔可夫决策过程,提出了基于强化学习的求解算法。该算法通过学习自动习得全局收益对单步局部收益的影响,而不必像启发式算法那样通过经验进行定义,而经验定义未必能获得最优值。论文使用真实的网络拓扑数据,对上述问题和算法进行仿真实验,并与基线算法进行对比。结果表明,本文所提的求解算法均更好地实现了局部目标与全局目标的平衡,升级得到的纯SDN网络性能更优。在大规模真实网络拓扑中,基于深度强化学习的求解算法较基于改进遗传算法的启发式算法能够获得更优的全局收益。