论文部分内容阅读
手绘草图是人类进行思想交流的媒介,在沟通和设计中都扮演着重要的角色。近年来,深度生成模型在光栅图片生成领域迅速崛起,手绘草图的生成也受到了广泛关注。Sketch-pix2seq是目前手绘草图生成领域最受欢迎的一种生成模型,但它无法捕获组件的全局位置关系,当草图组件较多时,这一问题更为严重;同时现有的草图生成模型受VAE(Variational Auto-encoder)框架的影响,很容易生成细节表达不清楚的草图。为了提高生成草图的质量,本文提出了两种基于不同架构的草图生成模型:
(1)基于VAE和注意力机制的手绘草图生成模型。针对模型Sketch-pix2seq无法学习组件全局位置关系的问题,本文设计了一种基于VAE和注意力机制的生成模型ESkeVAE(Enhanced Sketch Variational Auto-encoder)。该模型通过在编码器部分添加注意力模块来综合学习草图的局部结构特征和全局结构特征。另外,针对手绘草图没有明确评价方法的问题,本文根据草图的自身特性,设计了一种主观评价指标。实验结果表明,ESkeVAE模型的质量要优于Sketch-RNN和Sketch-pix2seq,并且在草图组件较多时,质量提升更为明显。
(2)融合ESkeVAE和GAN(Generative Adversarial Networks)的手绘草图生成模型。针对现有草图生成方法很容易生成细节表达不清楚草图的问题,本文设计了一种融合ESkeVAE和GAN的生成方法ESkeVAE-GAN,该模型基于VAE-GAN生成框架,包含三个组成模块:编码器、生成器和鉴别器。编码器和生成器构成VAE结构,生成器和鉴别器构成GAN结构,利用GAN来弥补VAE架构的缺点。实验结果表明,ESkeVAE-GAN模型在ESkeVAE模型基础上进一步提高了模型质量,相比于Sketch-RNN和Sketch-pix2seq,生成草图质量提升显著。
(1)基于VAE和注意力机制的手绘草图生成模型。针对模型Sketch-pix2seq无法学习组件全局位置关系的问题,本文设计了一种基于VAE和注意力机制的生成模型ESkeVAE(Enhanced Sketch Variational Auto-encoder)。该模型通过在编码器部分添加注意力模块来综合学习草图的局部结构特征和全局结构特征。另外,针对手绘草图没有明确评价方法的问题,本文根据草图的自身特性,设计了一种主观评价指标。实验结果表明,ESkeVAE模型的质量要优于Sketch-RNN和Sketch-pix2seq,并且在草图组件较多时,质量提升更为明显。
(2)融合ESkeVAE和GAN(Generative Adversarial Networks)的手绘草图生成模型。针对现有草图生成方法很容易生成细节表达不清楚草图的问题,本文设计了一种融合ESkeVAE和GAN的生成方法ESkeVAE-GAN,该模型基于VAE-GAN生成框架,包含三个组成模块:编码器、生成器和鉴别器。编码器和生成器构成VAE结构,生成器和鉴别器构成GAN结构,利用GAN来弥补VAE架构的缺点。实验结果表明,ESkeVAE-GAN模型在ESkeVAE模型基础上进一步提高了模型质量,相比于Sketch-RNN和Sketch-pix2seq,生成草图质量提升显著。