论文部分内容阅读
随着大数据时代的到来,数据分析的难度和复杂度急剧增加,完全依赖于传统的统计模型获取数据信息的方式具有一定的局限性,尤其是针对非结构化数据的分析,这种局限性尤为明显。因此,如何从海量数据中分析出有价值的信息是当前统计学领域所面临的一大挑战。突破领域限制,开发多学科融合的统计模型是解决复杂统计问题的有效途径。生成模型是最重要的一类统计模型之一,主要对数据分布建模,解决样本生成问题。在这个研究中,我们重点研究一种深度的概率生成模型:生成式对抗网络,以及这个模型在图像生成中的应用。由于生成式对抗网络在生成图像、语音、文本、视频等非结构化数据上的优良效果,使之迅速成为主流的深度生成模型之一,并已广泛应用于计算机科学、医学、生物学等多个学科领域。尽管如此,如何生成高质量的样本仍是该领域的挑战性问题之一,尤其是在无监督场景(无任何标签信息添加)下的样本生成问题。鉴于此,本文以图像生成为视角,系统性地研究了生成式对抗网络在无监督场景下的样本生成问题,并获得了以下研究成果。首先,利用信息熵的特性,提出了一种有效的生成式对抗网络惩罚算法。具体地说,我们利用条件熵构造了一种严格意义上的统计距离,即证明了该距离满足度量空间中的三大条件:正定性,对称性以及三角不等式。然后,将这种距离直接惩罚于生成器的目标函数上,其目的在于迫使生成分布按照这种距离充分地逼近真实分布,以此来提高生成样本的质量。实验结果已证实,该算法显著地提高了生成样本的质量。其次,本课题还研究了生成式对抗网络训练的不稳定性问题。首先,我们引入了一个一般化的生成器损失函数,据此深入分析了网络训练不稳定的原因,并得出,导致网络训练不稳定的关键原因在于:当生成器收敛到最小时,判别器无法收敛到最优判别器;而当判别器逼近最优判别器的过程中,生成器的梯度更新不稳定。在此基础上,我们发现控制判别器的Lipschitz常数是解决网络训练不稳定性问题的突破口。沿着这个思路,我们提出了一种零中心梯度惩罚的算法来解决这个问题。实验结果证实了该算法不但能使网络训练稳定,而且还能使网络具有良好的收敛性。最后,为了解决生成式对抗网络的模式崩溃问题,我们提出了一种谱标准化技术与零中心梯度惩罚技术相融合的算法。这个算法集成了两种技术的优良性,对解决生成式对抗网络的模式崩溃问题具有较好的效果,显著提高了生成样本的多样性和逼真度。相比一些代表性的算法,该算法在无监督场景下生成的样本质量具有明显的优势。此外,我们还将这个融合式算法应用到了非平衡数据的分类问题中。具体地,利用该算法生成的样本对少数类样本进行扩充,降低数据的非平衡性,从而提高分类精度。实验结果显示,该算法能有效处理非平衡数据的分类问题。