新体制雷达可以适应日益复杂的电磁环境,已成为近年来雷达领域的研究热点。由于通过设计与优化可以提高雷达系统的特定性能指标,因此研究不同的系统设计与优化方法也受到了广泛的关注。本文针对新体制雷达系统中的认知雷达(CognitiveRadar,CR)、多输入多输出(Multiple-Input and Multiple-Output, MIMO)雷达以及压缩感知(Compressed Sensing,CS)雷达,提出了多种优化设计方法,从而有效地提高了针对特定目标的估计、检测与定位性能。具体研究内容主要包括以下5个方面:1.在CR系统中,针对时域相关扩展型目标,本文给出了存在杂波和噪声干扰时,基于卡尔曼滤波(Kalman Filter,KF)的目标散射系数(Target Scattering Coefficients,TSC)估计方法。进而提出一种直接发射波形优化算法来最小化KF迭代过程中的均方误差,该波形优化算法同时考虑了总发射功率、峰均功率比以及恒虚警条件下的检测概率等约束条件,由于该波形最优化问题为非凸优化问题,不能够有效地求解,所以本文提出一种两步法将其转化为多个凸优化问题,最终得到针对时域相关扩展型目标的优化雷达发射波形,并获得更优的TSC估计性能。2.针对多个扩展型目标,讨论了目标间隔较近和较远两种情况下的TSC联合估计方法。为进一步提高TSC联合估计性能,本文提出了一种联合发射波形优化算法,用于权衡各个目标间TSC的估计精度。同样,该联合波形优化问题也是非凸优化问题,通过适当的松弛操作,可将其转换为半正定规划(Semidefiniteprogramming,SDP)问题,通过求解该SDP问题可以获得针对多个扩展型目标的优化发射波形,该优化波形可以显著提高TSC的联合估计性能。3.针对运动目标的检测问题,给出了基于多运动平台的雷达系统方案,通过在每个分布式收发平台配备集中式MIMO天线阵列,可使雷达系统同时具备分布式和集中式MIMO雷达的优点,有效提高针对运动目标的检测性能。首先,对于多运动平台雷达系统中杂波的异质问题,本文通过充分挖掘杂波的稀疏特性,提出一种杂波稀疏模型来估计杂波信息。由于该模型需要对杂波进行离散化操作,可能会导致杂波偏离离散网格点,因此建立了杂波估计的Off-Grid问题,并提出一种两步法对该问题进行求解,以实现对异质杂波信息的估计。其次,利用估计得到的杂波和目标信息,提出了一种波形优化算法来最大化回波信号的信杂噪比。最终,在多运动雷达平台的融合中心实现基于广义似然比的运动目标检测。仿真结果表明该雷达设计方案和波形优化方法可以显著提高对运动目标的检测性能。4.当涉及到多个扩展型目标的速度和距离估计问题时,本文将该参数估计问题建模为稀疏重构问题,并提出了一种基于CS的扩展型目标参数估计方法。由于扩展型目标的回波信号是雷达发射信号与目标冲击响应的卷积,所以,本文给出了针对多个扩展型目标的字典矩阵构造方法,同时为进一步提高TSC的估计性能,给出一种雷达发射波形的优化算法,该算法通过最小化字典矩阵的相干系数来提高稀疏重构性能,以及相应的TSC估计性能。5.针对分布式MIMO雷达系统的多目标定位问题,提出一种雷达天线位置的优化方法。首先,通过构造包含所有位置信息的过完备字典矩阵,给出了基于稀疏重构的多目标定位算法,并采用字典矩阵的相干系数来间接描述目标的定位性能。进而,提出了一种天线位置优化算法来最小化该相干系数,从而提高稀疏重构性能以及雷达系统的定位精度。其次,为了描述不同天线布置对定位性能的影响,推导了不同天线布置时相干系数的概率分布,以辅助分布式MIMO雷达的天线位置优化,进而提高系统的多目标定位性能。