随着大规模多输入多输出（Multiple-input multiple-output,MIMO）技术的发展,传统的全数字系统将面临高成本与高功耗的困境。混合模拟数字结构由此应运而生。混合模拟数字结构,只需少量的射频链来连接低维的数字部分与高维的模拟部分,具有电路简单,复杂度低等优点,且能够在能耗、成本与性能之间获得良好的权衡。然而由于无线传输的广播性与开放性,隐私信息易被非法方窃听,如何确保混合结构下信息的安全传输至关重要。因此,基于混合结构的安全波束成形问题吸引了国内外学者的广泛关注。论文围绕混合结构下的物理层安全技术展开研究,主要研究内容与创新点如下:1)为了解决混合结构方向调制（Directional modulation,DM）安全传输所需的信道状态获取问题,提出了混合结构下的到达角（Direction of arrival,DOA）估计算法。该算法首先在数字域采用旋转不变子空间技术（Estimation of signal parameters via rotation invariance techniques,ESPRIT）获取一组角度可行集,然后通过模拟相位对齐与数字相位对齐,利用最大化接收信号功率准则获取最优解。另外,采用机器学习直方图法观察发现DOA估计误差近似服从高斯分布。最后针对混合结构发射机,根据所获取的DOA与DOA误差分布函数,设计一种具有闭式解的稳健的安全混合DM波束成形算法。仿真结果表明:所提的混合ESPRIT角度估计方法可以获得较为准确的估计;同时与现有的非稳健DM方法相比,所提的稳健安全DM混合波束成形算法具有更高的安全速率。2)针对混合结构下高分辨率数字模拟转换器（Digital-to-analog converter,DAC）高功耗的问题,提出了毫米波系统中基于低分辨率DAC的安全混合波束成形算法。利用加性量化噪声模型将低分辨率DAC的非线性输出近似为线性输出,从而推导出安全速率下界的近似闭合表达式。在此基础上,采用最大化安全速率下界准则,提出了双层交替迭代算法设计安全的混合波束成形。值得一提的是,本文针对模拟部分的恒模约束,设计一种低复杂度的梯度上升算法求解模拟波束成形矩阵。仿真结果表明:所提的双层交替迭代算法相比现有的安全混合波束成形方法,可以获得更高的安全速率,具有更优越的安全性,同时所提算法收敛速度快,无需多次迭代。