当前第五代移动网络（5G）已逐渐在全球范围大规模部署,世界各国也纷纷展开了对第六代移动网络（6G）的研究。在无线网络发展中,海量接入需求与有限频谱资源的矛盾越来越突出。同时,随着传输速率的提高,无线网络的能耗也不断攀升。如何提高频谱资源利用率,并通过恰当的资源分配降低能耗,是未来移动通信技术研究中的关键问题。大规模多输入多输出（MIMO）技术作为5G的核心技术,能够达到更高的能量效率和频谱效率,实现更加可靠的信号传输。非正交多址接入（NOMA）技术能够支持更大的连接数量,适应于未来更大规模的无线网络应用。本文面向未来无线网络的应用需求,以提高用户接入数量、降低能耗为目标,研究了基于机器学习的MISO-NOMA上行链路资源优化问题,分别提出了低复杂度的次优功率控制方案以及联合用户分组和功率最小化的最优功率控制方案。首先,本文提出了一种基于K-means的上行次优功率控制算法。在MISONOMA系统中,联合进行分组和功率控制的优化问题求解复杂度过高,难以实用。对此,本文设计了一种低复杂度的分步功率控制方案,针对用户分组和功率最小化两个子问题分别进行优化。本文提出了基于改进K-means的用户分组算法,利用半正交用户选择（SUS）算法动态获取最优组数和初始聚类中心,并考虑信道相似性和信道增益差来设计用户聚类依据。在分组结果的基础上,理论推导了组内最小发射功率的闭式解,设计了组间迭代功率调整算法,并证明了算法的收敛性。仿真结果表明,所提出的算法在考虑信道相关性的场景中,以更低的复杂度在能耗、能效、中断概率等方面实现了接近全局最优的性能。其次,本文提出了一种基于深度强化学习的用户分组和功率控制联合优化算法。传统数学方法难以直接求解混合整数非凸问题。因此,本研究将联合资源控制任务抽象为马尔可夫决策过程,并通过基于强化学习的方法建模设计了用户分组和功率控制的迭代优化。首先结合深度学习设计人工神经网络拟合动作价值函数,解决了通信场景中状态空间过大的问题。进一步,本文设计了多智能体完全合作的动作学习机制,解决了大连接场景下NOMA分组的组合爆炸问题,并通过协作式集中训练-分布执行框架避免了联合动作空间的维数灾难并降低了算法的复杂度。同时,本研究设计了基于最优功率分配策略的奖励函数,实现了系统整体发射功率的优化。实验结果表明,所提出的基于深度强化学习的优化算法能够达到接近穷举最优算法的性能,其功耗亦优于前述研究中所提出的分步优化算法。