频谱接入是认知无线电技术中非常重要的一环,要求在不干扰授权用户使用的前提下,根据频谱感知得到的结果接入空闲频谱并利用。动态多信道接入可以在时变的频谱占用状态情况下,实时动态地调整自身设备参数,自主选择接入空闲频谱资源。深度强化学习作为解决动态系统问题的有效方法在无线通信领域里被广泛采用,其区别于传统方法,不需要系统环境的先验信息,与系统环境不断交互获得相应的奖励与惩罚、不断学习环境的动态特征信息。同时深度强化学习能解决复杂状态空间问题,并有较高性能表现。将深度强化学习应用在动态多信道接入中,可使非授权用户对可能出现空闲的信道进行跟踪、学习和更新,智能地选择信道检测集合,从而提高频谱利用率,满足自身通信的需求。本文针对单用户动态多信道接入问题,考虑非授权用户感知能力的局限性及授权用户占用频谱的时变性,该问题归类为部分可观察马尔可夫决策过程（Partially Observable Markov Decision Process,POMDP）。基于该POMDP,本文采用双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient,TD3）来解决单用户动态多信道接入问题,TD3采用双Critic网络和双延迟更新等优化方法,能学到更优的感知接入策略。仿真结果表明该算法均优于深度Q网络（Deep Q-Network,DQN）、深度双Q网络（Double Deep Q-Network,DDQN）、深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）,提高了非授权用户的接入成功率。在真实的认知无线电系统中,往往存在多个非授权用户共享信道资源。然而,在以往的工作中,非授权用户采取基于独立策略的信道接入方法,即视其他非授权用户为环境的一部分,违背了强化学习静态环境且具有马尔可夫性的假设。因此,独立决策的强化学习算法不能较好解决多用户动态多信道接入问题。本文建模了满足多个非授权用户带宽约束的多用户动态多信道接入问题。然后,提出基于多智能体TD3（Multi-agent TD3,MATD3）的多用户多信道接入算法,采用集中化训练与分布式执行感知接入决策,从而减少系统非静态的影响。实验仿真结果表明,提出算法的性能胜过多智能体DDPG（Multi-agent DDPG,MADDPG）、独立策略的TD3和DDQN算法,提高认知无线电系统下非授权用户的整体接入成功率。