基于卷积神经网络的服装图像分割技术及应用

来源 :东华大学 | 被引量 : 0次 | 上传用户:zzzzzz1234566666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于服装图像的实例分割是解决服装的三维重建,实现三维虚拟试衣的前提。获取边缘分割效果好,分割后噪声小的服装图像可以使得虚拟试衣的效果更加真实。但是由于服装本身复杂的边缘形状以及服装中存在多种不同结构的部件(如衣领、袖口、口袋等部位),传统的分割算法并不能完成细粒度的分割,因此本文设计了一种基于深度学习的服装图像的分割算法,并考察与探究其分割性能及实际应用。首先,对于图像分割任务,现在的方法大多是基于深度卷积神经网络(DCNNs),然而标准的卷积的感受野受限于卷积核的大小,只能学习到卷积核周围的特征信息,并不能建立关于全局的关联。先前的研究也表明,基于注意力机制的方法可以建立图像中不同像素之间长距离的依赖关系,能够进一步重构特征图以更好地完成图像的分割。然而,根据现有的通道注意力和空间注意力机制会大大增加网络结构的参数,这将对于高分辨图像的分割以及算力提出更高的要求。本文提出了一种新的多重注意力模块(Multi-Attention Module)在保留空间注意力模块(PAM)和通道注意力模块(CAM)的基础上,减少了网络参数,同时可以学习不同尺度的上下文信息以提升服装图像的分割精度。通过将这种多重注意力结构加入到现有的分割网络Deep Lab V3和Mask RCNN中,构造了多重注意力Deeplab(MADeeplab V3)网络和多种注意力Mask RCNN(MAMask RCNN)网络。通过两种不同的服装图像数据集分别对其进行验证,结合消融实验,与此前的分割方对比后表明:相较于基线网络,在加入提出的多重注意力模块后,网络的分割性能均有所提升,实验使用APmask和m Io U值作为评价指标,对于COCO数据集,一般使用AP作为评价指标,对于其他形式的语义分割网络,可使用Io U值作为评价指标。其中对于Mask RCNN的APmask提升了3%,对于Deep Lab V3的m Io U由0.51提升至0.56。为测试所提出的分割网络在实际场景中的应用效果,本文尝试对商品图或者实拍图中的服装图像进行分割并将其用于虚拟缝合式三维服装重建和三维扫描式虚拟服装重建。对于虚拟缝合式三维服装重建,首先基于分割后获取的服装图像,使用图像修复网络生成服装的未知面,从而解决了传统虚拟试衣中需要两次拍摄的问题,通过将生成的服装缝合于三维人体的表面,实现了三维服装重构。结果表明,所使用的图像修复网络可以生成效果良好的服装正反面并获得优异的三维重建效果。对于三维扫描式虚拟服装重建,利用Sf M(Structure from Motion)算法,将不同位置的实拍图像通过分割网络剔除包括人体在内的背景后用于三维重建。与未经背景剔除的重建效果相比,采用本文的分割网络重建的三维服装,其噪声水平显著降低,可生成较为真实的三维服装,用于穿着衣物的三维展示。
其他文献
喷气涡流纺自1997年面世以来,就以毛羽少、纺纱速度快等显著特点得到迅速发展,并广泛应用于多种纺纱场合,其中之一就是包芯纱的纺制。目前与喷气涡流纺包芯纱相关的研究大部分都集中在纱线质量提升和对应的纺纱参数优化,对于包芯纱的成型装置关注较少。如包芯纱的芯丝穿引与废纤清洁均采用手工操作,效率低下。因此对喷气涡流纺装置的研究具有现实意义。本文针对喷气涡流纺纱机的结构特点研究设计出一种芯丝穿引系统,适应于
静电纺丝技术作为制备纳米纤维最简单快捷的方法,它所制备的纳米纤维膜有着孔隙率高、比表面积大等特点,因此在废水过滤材料、医用防护材料、传感器等生产领域得到广泛应用。但长久以来,纳米纤维膜的制备过程由人工督察,因为喷射流的不稳定及无规则喷射导致经过长时间的连续纺丝易出现纺丝不稳定或堵塞等异常情况,而人工无法通过肉眼察觉,并且实验试剂通常带有毒性与挥发性,对人体健康有一定的危害。若基于机器视觉采用相机监
随着我国经济的发展,越来越多的国际贸易、货物运输依赖于集装箱。集装箱减少了货物运输的成本,从而推动世界经济的发展,但其广泛应用导致港口的吞吐量增速加快,容易造成各大港口拥堵,杂乱不堪,给港口的管理造成巨大的压力。为了对集装箱实行更好的管控,集装箱编号识别系统应运而生。传统集装箱编号识别技术容易受到复杂环境包括光照、字符倾斜、扭曲、破损等影响。近年来,由于深度学习具有快速准确的优点而成为模式识别重要
随着工业自动化技术的进步,具有高效率、高安全性、高柔性的工业机器人在制造业中的应用正变得越来越广泛,能够提高机器人工程开发效率、降低开发成本的机器人仿真系统也成为了研究的热点方向。本文从机器人仿真系统与PLC控制器信号交互的角度出发,开发出一款集成了机器人三维仿真、通信、传感器模拟、机器人程序解析、运动轨迹规划等功能的工业机器人跨平台仿真系统。本文的主要研究内容如下:以工业机器人跨平台仿真系统为研
互联网的蓬勃发展带动了社会的整体变迁,使社会生产力得到快速发展。互联网与传统行业的结合改变了人们的生活方式,已成为人们生活中不可或缺的一部分。对于互联网公司来说,广告变现是公司赖以生存的手段之一。点击率预估是广告变现的重要环节,其效果直接影响广告投放的成功率。行业内对点击率预估问题最为常见的评价指标为AUC(Area Under Curve)。它能直观地反映出广告点击率预估的效果:AUC值越大,说
近年来,随着大数据时代的来临和5G技术的飞跃发展,诸如网易新闻、今日头条、腾讯新闻等在线新闻平台成为人们获取信息的重要媒介。在享受信息便捷的同时,信息过载也逐渐成为人们高效获取信息的巨大壁垒。个性化新闻推荐系统可以帮助用户从海量新闻中浏览到符合其个人喜好的新闻资讯,有效缓解信息过载问题,也可以帮助新闻平台提升用户体验和用户粘性。现有的基于深度神经网络的新闻推荐系统通常会对用户的过往浏览历史行为做统
随着电子商业的蓬勃发展,消费者们对服装商品的需求增加,使得市场对服装商品原材料之一的纺织面料提出了更高的要求,纺织面料生产企业为了应对市场,致力于面料创新与研究,用多种加工方式及材质进行面料生产,这也导致了市场上纺织面料的种类越来越多。对于纺织面料生产企业,面料种类的持续增长带来了库存管理上的压力。为便于面料库存上的管理,本文将卷积神经网络技术引入面料图像检索,做出了以下研究:(1)提出了一种基于
当前环境中的塑料污染问题受到全世界关注。用于包装的塑料材料越来越多,产生大量无法降解的固体废物。生物降解塑料被认为是解决塑料废物问题的可能办法,完全可降解塑料可被微生物完全降解,起到很好的保护环境作用。植物在自然条件下可以产生淀粉、纤维素、半纤维素、储藏蛋白等聚合物,是天然的可降解高分子材料来源。以植物为基础,完全可生物降解聚合物具有完全的生物可降解性和可再生性,是替代石油基塑料的可行材料。介绍解
服装图像包含丰富的特征信息,以服装图像作为基础数据进行自动分类识别已经得到了较多的研究。然而,结合深度学习的服装风格的分类与评价的研究尚不多见。有鉴于此,本文以品牌服装为对象,探究其视觉风格的合理表征,并实现品牌服装基于深度学习的分类任务。品牌服装往往都具有自己特有的设计风格。例如,Chanel的服装简约又精致,低调又高雅;Dior的服装曲线优美,高贵华丽;Gucci的服装文艺复古,古典烂漫。以往
在织物制造过程中,会因为机械设备故障、纱线问题、杂物夹入以及人为等因素导致织物表面出现瑕疵,给纺织企业带来巨大的经济损失。可见,织物瑕疵检测是织物生产过程中极其重要的环节。目前,大部分纺织企业主要采用两种方式检测织物瑕疵,一是人工检测,这种检测方式存在准确率低、漏检和误检率较高且劳动力成本高的问题。二是基于机器学习算法检测,此类方法需要定义瑕疵特征,但由于织物瑕疵尺寸小,形状复杂且尺寸变化大,难以