基于现实场景模版的动漫化研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:abcd_11840
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度神经网络与图像处理技术的发展,对现实场景影像进行动漫化转换成为可能。动漫化技术能为AI辅助影像创作提供新的方式与内容,在互联网社交、短视频创作、视频彩铃等多媒体业务下有广泛的应用场景和价值。然而,现有的动漫化算法仍存在一些问题:(1)背景进行动漫化时,图像的色系偏移呈现出较重的滤镜感,并且图像细节被过度弱化,导致生成的图像质量较差。(2)人像进行动漫化时,五官的生成不够稳定,人脸占比和图像尺寸对转换结果影响较大。同时,无法保留足够的图像背景信息,难以实现人脸与背景的共同转换。针对以上问题,结合动漫化在多媒体业务下的应用需求,本文基于生成对抗网络(Generative Adversarial Networks,GAN)分别对背景和人像的动漫化进行了研究,其主要内容如下:第一,提出了基于频谱差异感知风格的场景动漫化网络。通过分析现实域图像和动漫域图像在频谱上的特点与差异,指导生成器更好的学习映射关系以拟合动漫域图像的风格分布。在此基础上,结合手工提取的动漫域成像特征,对图像的转换进行更细化的调控。与CartoonGAN、AnimeGAN在人眼视觉效果和GAN评价指标下进行比较,本文提出的网络模型生成图像更具优越性,在图像细节、色彩还原度、真实感上表现更好且能呈现出较明显的动漫风格。第二,提出了基于局部强化感知的人像动漫化网络。根据人像场景的动漫化特点与需求,在循环一致性对抗网络中添加了基于自注意力机制的局部强化模块。该模块指导网络关注图像中的显著区域,即人脸五官,并通过注意力权重系数的加权将层归一化和实例归一化方法相结合,使得网络能对图像的不同区域做出不同的处理,灵活地控制了风格、纹理、轮廓的变化量。此外,网络使用了全卷积的结构,网络更轻量化且支持任意尺寸的图像输入,能够在对人脸五官进行高度形变的同时,保持背景的语义结构不变,向着动漫化任务的最终目标人景融合迈进。第三,设计并实现了一个影像动漫化平台系统。该平台利用本文所提出的场景动漫化网络和人像动漫化网络,为用户提供图像、视频动漫化转换服务。
其他文献
根据无析锂和析锂锂离子电池在不同温度下电化学阻抗谱变化趋势,应用等效电路模型分别拟合电化学阻抗谱中的Ohm阻抗和固体-电解液界面阻抗,提出了EIS-Ohm法和EIS-SEI法,利用扫描电镜和化学方法对析锂检测方法进行了验证.随着温度升高,析锂电池的电化学阻抗谱中的Ohm阻抗先增大后减小,固体-电解液界面阻抗变化较小;扫描电镜观察和化学方法确定了电池电极表面析出锂金属形貌和化学变化特性.结合电池工作温度(-10~60℃)和检测时间(>21 min),讨论了2种析锂检测方法的可行性.结果表明:基于电化学阻抗谱
近年来,人们对高速、大容量传输系统的需求的日益增加,相干通信技术的研究已经成为了光通信领域的主流。同时,伴随着相干探测技术和高速模数变换器(ADC)等数字信号处理技术的飞速发展,人们对基于现场可编程门阵列(FPGA)的相干光通信系统的研究也越来越重视。目前,基于数字信号处理(DSP)的高速实时化并行算法已经成为人们研究和扩展的重点。本文主要完成相干光通信系统中载波相位恢复(CPR)算法(包括频率偏
探究了在车辆结构碰撞中腿型冲击器与真实人体响应的差异性.选择了高生物逼真度冲击器和更科学的、可反映实际碰撞事故中人体损伤情况的评价方法.在轿车和运动型多功能车(SUV)车型上,运用有限元方法,分析了3种腿型冲击器和人体模型动力学响应情况;对比了小腿、大腿、膝关节以及骨盆部位的损伤指标.结果表明:先进行人腿型(aPLI)中膝关节内侧副韧带腿型(MCL)比柔性腿型(Flex-PLI)的生物逼真度更好;aPLI腿型的大腿弯矩比刚性腿型(TRL)生物逼真度更好;但aPLI腿型对SUV车型发罩前缘对骨盆造成的损伤评
为了在温带、寒带地区推广燃料电池汽车,研究了含20片单体电池、活性面积为285 cm2的石墨基双极板聚合物电解质燃料电池短堆的零下启动.开发了基于实车的使用交互氢泵的电源系统;对短堆阳极和阴极同时供应氢气;用低温环境舱来构建-30℃环境;以起始膜—水(分子数)含量、交互电幅值及频率等作为3个控制参数,实现燃料电池短堆-30℃启动;测试了短堆零下启动前后的极化曲线.结果表明:燃料电池短堆-30℃启动后,中心位置的单体电池可在80 s内温升至0℃;在其余位置,可在200 s内温升至0℃;零下启动前后的极化性能
汽车发动机属于汽车动力引擎,具有心脏的作用,汽车发动机稳定性与质量和汽车驾驶可靠性具有密切关系.在对汽车发动机机械故障检测过程中,使用非接触式检测技术能够使故障检测效率与精准度得到提高.以此,本文对汽车发动机机械故障的非接触式检测技术进行分析,促进非接触式检测技术的应用普及.
不同的充电机制会影响锂离子电池的充电时间、循环寿命和安全性能.锂离子电池充电普遍采用阶梯式充电策略.研究并选取合适的充电策略将提高锂离子电池的经济性,在保证安全性能的前提下降低电动汽车用户对于充电时间的焦虑.锂离子电池在充放电过程中,由于锂离子的嵌入和脱嵌,会导致正极负极活性材料损失(LAM)和可用锂离子存量损失(LLI).通过容量增量分析方法(IC)结合扫描电子显微镜(SEM),X射线光电子能谱(XPS)分析,研究了不同充电机制对锂离子电池老化行为的影响,研究发现两种策略对电池老化的机理相近,但不同充电
随着各种形式的计算设备渗入人们生活,手势识别作为最自然的人机交互模式,应用在了不少拥有专业传感设备的场景下。然而近几年随着视频应用的发展,人们希望动态手势识别也能应用于普通的设备之上。但基于由普通设备采集到的RGB视频流的手势识别,通常面临着视频流未剪辑、背景杂乱、手部信息丢失等问题。并且对于实际场景下的动态手势识别,不仅有着实时性及计算资源的限制,还面临着一段手势应该仅被识别一次的单次激活问题。