随着5G通信网络的商业化,第六代移动通信的研究已逐步展开,针对毫米波无线通信中信号传输距离和覆盖范围受限的问题,提出采用智能反射面来辅助毫米波通信。本文研究采用智能反射面的宽带毫米波正交频分复用通信系统下的信道估计问题,以及联合基站有源和智能反射面无源波束成形优化。在实际应用中,智能反射面是无源被动的,不具备信号处理能力,这为智能反射面辅助的毫米波系统信道估计问题带来了较大的挑战。已有的信道估计方法通常有较大的导频开销和实现复杂度,因此,如何估计智能反射面辅助的毫米波通信系统信道状态信息是一项值得研究的课题。本文利用毫米波信道的稀疏散射特性,找到级联信道的稀疏表示,将信道估计转化为稀疏信号恢复问题并采用基于二部图编码和解码的方案进行求解。另一方面,基站和智能反射面的联合波束成形优化问题是智能反射面辅助通信系统的重要研究方向之一。在基站已知信道状态信息的条件下,通过将联合优化问题解耦成两个子问题,利用交替迭代优化两个变量以最大化接收端频谱效率,并且讨论了基于估计信道的联合波束成形问题。首先,研究了智能反射面辅助的宽带毫米波正交频分复用通信系统下的信道估计问题。使用基于稀疏二部图编码和解码的算法进行信道估计,将基站到智能反射面和智能反射面到用户的无线稀疏信道表示为一个级联信道,并给出级联信道在角度域的稀疏表示,通过一组二部图对稀疏信道进行编码,之后使用简单的解码方式,利用接收信号获取级联信道状态信息,即稀疏矩阵的非零项位置和幅度,算法能够以较小的复杂度得到准确的信道状态信息。其次,研究了联合基站主动和智能反射面被动波束成形优化问题。将原始高度耦合的非凸优化问题解耦成两个子问题迭代交替求解,讨论了已知信道状态信息的条件下求解智能反射面相移矩阵的方案。最后研究了基于估计信道的联合波束成形优化问题,假设仅已知信道视距链路的路径信息,得到具有更宽波束覆盖范围的智能反射面相移矩阵。