基于深度学习技术的聚类分析方法与雷达信号个体识别相结合是一个非常值得研究的方向。深度聚类模型在训练过程中往往需要大量的训练数据,而实际采集条件下雷达信号标注数据稀少或者数据样本不平衡的情况十分常见。本论文以小样本雷达信号数据问题为切入点,针对复杂外界环境下采集到的不同辐射源雷达信号,设计了一种新的反向自动编码器（Inverse autoencoder,IAE）,并与生成对抗网络（Generative Adversarial Network,GAN）相结合,提出了一种基于反向自动编码器的生成对抗注意力聚类网络模型（Inverse autoencoder for Generative Adversarial Attention Clustering Network,IAE-Cluster GAN）。论文的主要工作与贡献可以总结为以下几点:第一,提出了一种新的无监督深度聚类模型IAE-Cluster GAN,它可以在无需额外约束的条件下控制学习到的潜在编码的分布类型,从而保证学习到的潜在空间中可以更完整的保留原始数据的聚类结构和语义信息。另外,将注意力机制集成到网络模型中,使潜在编码包含更多有用的聚类信息;利用超球面映射提高了模型训练的稳定性并减少了训练参数。第二,提出了利用生成对抗网络来生成与原始数据样本相似的双谱矩阵,解决雷达信号数据样本标注数据稀少和样本数量不平衡的问题。使用超球面映射代替原来损失函数中的梯度惩戒项,在不引入新参数的情况下对网络进行了改进;在判别器网络中使用Spectral normalization权重正态化技术,来保证判别器网络是K-Lipschitz连续的,从而提高了网络训练的稳定性。第三,将本文所提出的无监督深度聚类模型IAE-Cluster GAN应用到小样本雷达信号数据集上。并且在目标函数中引入对比损失,解决聚类任务开始阶段不同类别样本在表征空间中高度重叠的问题,从而使学习到的嵌入空间中各个簇类之间的间隔更加明显并提高了最后的聚类准确率。