传输控制协议(TCP)诞生于20世纪90年代,是一种面向连接的、可靠的传输层协议。以TCP为核心的TCP/IP协议族成为了互联网通信的基础架构。在TCP发展之初,互联网服务相对简单,对网络的要求不高。随着计算机技术的高速发展,IP电话、视频直播、虚拟现实、物联网等新兴互联网服务的出现,对网络的吞吐量、延迟、延迟抖动都提出了更高的要求。另外,网络传输技术的发展也日新月异,其中有线传输媒介从双绞线到光纤,无线传输的发展中涌现出了Wi Fi、蓝牙、4G、5G等技术。网络传输技术的革新带来了更大的带宽和更小的延迟,同时也加剧了网络的复杂程度。面对日益高涨的应用需求和复杂的网络传输条件,TCP协议的优化成为了计算机网络研究的重点方向。拥塞控制是TCP在发送方调节传输速率以有效利用网络带宽的基本机制,TCP协议的优化重点在于拥塞控制的设计。设计一个优秀的拥塞控制难点在于:在复杂的网络环境中存在噪音干扰,如何有效地检测网络拥塞;面对动态多变的网络环境,需要及时调整拥塞控制策略,适应网络变化;多个TCP流竞争可用带宽,需要考虑公平性,进一步加剧了拥塞控制设计的难度。针对上述挑战,本文提出了一种基于强化学习的拥塞控制算法RLCC。该算法将单流的拥塞控制问题建模为马尔科夫决策过程,基于深度强化学习生成拥塞控制策略,将网络状态映射到拥塞窗口。同时,RLCC结合了在线变点检测技术,以及时发现网络状态的变化。RLCC在一个模拟环境中学习拥塞控制策略,并在仿真环境中验证其效率。实验表明,RLCC可以达到较高的带宽利用率,并有效抑制排队延迟的增加。进一步地,本文将RLCC拓展到多流竞争的场景中,考虑公平性,设计并实现了MARLCC拥塞控制算法。MARLCCC将多流竞争场景建模为马尔可夫博弈过程,借助多智能体强化学习生成拥塞控制策略。MARLCCC利用集中训练、分散执行的架构,在训练时使用全局信息训练,在执行时只需智能体的本地状态信息。MARLCCC的奖赏包含本地奖赏和全局奖赏两部分,这种设计保证多智能体在竞争有限资源的同时,彼此合作合理分配带宽。实验表明,MARLCC能够均衡地在多流之间分配带宽,同时保持较高的带宽利用率和较低的延迟。