基于正交元空间的多模态图像增强技术研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:dsfsfsg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像增强技术自适应地为普通图像(主要体现为光照、对比度等的不和谐)赋予适当的美学特征,同时保留图像的内容细节。给定普通图像,多数现有工作仅输出唯一的具有统一美学样式的增强图像,该样式来自于给定的参考图像集。然而,不同用户的审美偏好、具体应用场景均可能存在较大差异,这需要图像增强技术具有单一模型多模态处理的能力,给出尽量多样化的输出供用户选择。与此同时,图像内容和样式特征需要充分解耦,并有多模态融合的能力。为了实现图像增强的多模态输出,本文提出了一种基于正交元空间的多模态图像增强框架,提取出参考图像中具有视觉吸引力的美学特征,并将其显式地编码到一个正交的元空间中。具体地,本文首先使用编码-解码器及对抗训练策略提取出高美学质量图像的样式和内容特征。接下来,本文将参考图像的样式编码映射到一个由一组正交基张成的样式元空间中,其中正交基通过引入正交正则化损失来实现。在测试阶段,给定任意一张普通图像,本文由编码器提取其内容特征;同时在样式元空间中随机采样多个样式特征;最后将原图内容编码与样式特征分别融合后,送入解码器得到最终的多模态增强图像。另外,为提高多模态场景下样式、内容特征解耦及融合的稳定性,本文针对图像增强任务提出一种改进的自适应实例标准化模块。该模块在训练过程中使用图像样式编码的通道维统计信息及其在元空间中的位置信息对内容编码进行规范化,从而使解码器同时得到高频样式特征和普通图像的内容特征。同时,本文提出最大化元空间位置编码和判别器输出向量之间的互信息,提高元空间的建模能力。改进的自适应实例标准化模块及互信息最大化策略提升了同一图像样式、内容特征解耦及跨图像样式内容特征融合的稳定性。在实验部分,本文方法在基于美学评分、真实性评分和多样性评分等的多种量化度量指标上均取得了优于其他相关工作的性能表现。另外,增强图像的可视化及用户调查结果也说明了本文方法可以生成有美感且多样的图像。
其他文献
压缩感知理论带来了一种全新的信号采样方式。当信号本身或在某个变换域具有足够稀疏的表示时,能够以低于奈奎斯特定理要求的采样率对信号进行采样,并对其完美地重建。对于用
蛋白质泛素化是一类典型的翻译后修饰(PTM),它承担着调节生命活动的重要作用,研究发现泛素化影响着细胞凋亡、细胞增殖和信号转导;蛋白质SUMO化是一类与泛素化非常相似的翻译
甲状腺癌是人体内分泌系统中患病率最高的疾病之一,近年来发病率逐年上升。超声检查可以识别触诊较难发现的甲状腺结节可疑病灶,是实现早期甲状腺癌筛查的有效手段。医院超声
电化学发光(Electrochemiluminescence,ECL)也称为电致化学发光,是经由电化学反应诱发的化学发光。在这过程会经历一系列氧化还原反应形成发光激发态,由高能量的激发态返回低能
随着诸如汽车电子、微处理器等应用系统愈发复杂,需要安培级大电流的场合也越来越多。LDO凭借结构简单、成本低、高电源纹波抑制能力以及快速瞬态响应能力等优点,逐渐占据了过去由开关电源把持的15A的应用领域。如今的电源和热管理趋势是尽可能降低电源电压以减小静态功耗,这会导致MCU和DSP等负载电路对电源电压的变化更为敏感。因此,安培级LDO系统设计中的一个重大挑战是在高摆率负载电流转换期间将输出电压的波
近年来,随着深度学习技术的不断发展,越来越多的研究人员、企业员工等希望利用深度学习技术来理解视频内容。其中,基于视频的行为识别任务得到了许多研究者的关注。对视频中
随着深度学习的快速发展,互联网行业愈加贴近人工智能的研究初心。其中,计算机视觉和自然语言处理这两大研究方向,帮助机器模拟人类的视觉和语义理解,使得深度学习在人工智能
在银行系统的管理中,许多应用系统涉及到系统稳定性以及业务安全性的考虑,始终难以将应用系统对接银行单点登录平台。而银行系统运行的特征是7*24小时不间断服务,而无论业务人员或是系统维护人员都可能在任何时点能够登录系统,应用系统与单点登录对接虽然大大方便了用户对于系统的使用,但对于运行的稳定性,多一层系统的应用就会多一层系统运行的风险。银行业务系统的连续性、实时性始终是银行信息系统运行的首要目标。传统
近年来,可见光促进的光化学反应取得了极大的进展。可见光是一种廉价、清洁且相对温和的可再生能源。因此,利用可见光催化来合成复杂分子具有较好的前景。此外,含氮杂环化合
作为信息抽取的核心任务,有效的关系抽取是信息爆炸时代的一大挑战。本文在进行关系抽取这一基础性研究时发现,现有的模型在应对长而复杂或无直接实体关系触发词的句子时,往往很难有效地抽取其中蕴含的实体对关系。而这种句子在自然语言文本中是普遍存在的,这使得关系抽取的效果遇到了瓶颈。本文深入调研并分析了国内外在关系抽取方面的研究。在融合更多更深层次信息的思路启发下,本文提出实体类型嵌入(Entity Type