近年来,随着信息时代对无线通信提出的更高要求,更多的无线通信技术需要被研究。其中有很多无线通信技术在物理层信号处理中需要涉及联合设计波束成形与离散集合变量的优化问题。目前在毫米波通信中被广泛应用的混合波束成形技术就涉及这样的问题。另外,智能反射表面技术也会涉及这样的问题。因此,为了能够使用目前的一些技术来提高无线通信的性能,联合设计波束成形与离散相位的优化问题需要被研究。本文针对联合设计波束成形与离散相位的两个应用场景,即混合波束成形技术和智能反射表面技术展开研究。具体研究内容如下:(1)首先,考虑一个基站采用与大规模MIMO结合的混合波束成形技术的无线通信系统,研究以最大化最小用户信干噪比(Signal to Interference plus Noise Ratio,SINR)为目标的优化问题。针对抽象的数学问题本文提出了基于全分解和基于ZF-PENALTY交替优化算法。针对模拟波束成形矩阵求解,本文利用受控最小化(Majorization Minimization,MM)和投影梯度算法(Projected Gradient,PG)迭代得出近似解;针对数字波束成形矩阵求解,本文提出基于迫零和功率分配的近似求解算法。仿真结果验证了提出的两种算法性能优于现有工作的性能。(2)其次,考虑具有智能反射表面辅助的无线通信系统,本文研究最大化用户速率和的优化问题。针对此问题,本文提出了在块坐标下降法的框架下对原问题进行求解。且每个块的求解分别基于最小均方误差(Weighted Minimum Mean Square Error,WMMSE)和GEMM算法。仿真结果证明了提出的算法的性能和复杂度均优于现有工作。