【摘 要】
:
近年来深度学习广泛应用于各领域,但深度学习中网络结构的有效选择与调优仍然面临着巨大的挑战。目前,选择网络结构主要根据准确率、先验知识,如专家经验等,需要大量的时间和
论文部分内容阅读
近年来深度学习广泛应用于各领域,但深度学习中网络结构的有效选择与调优仍然面临着巨大的挑战。目前,选择网络结构主要根据准确率、先验知识,如专家经验等,需要大量的时间和具备专业的知识。作为深度学习常用的模型之一,栈式自编码(SAE),因其包含两个学习阶段,从而基于先验知识的方法很难有效地选择其网络结构。本文中,我们提出了一种基于数据复杂度的SAE网络结构选择的方法。数据复杂度(Data Complexity,DC)通过描述数据的几何分布特性来度量分类问题的困难程度,被广泛应用于特征分析和分类器选择。本文通过DC量化网络隐含层特征的判别能力,验证了DC较低的网络结构能够取得更好的泛化能力,进而提出了在SAE无监督阶段基于DC选择网络结构的有效方法和有监督阶段基于DC正则的模型优化策略。实验验证了我们的方法明显优于基于准确率选择网络结构的方法,且基于DC正则的策略能有效加快模型收敛的速度。我们可以通过调整已有模型的网络结构来满足存储需求或提升性能。参数剪枝、编码等调优网络结构的策略,被广泛应用于大型网络的结构压缩中,但训练大型网络的时间成本很高。可视化网络隐含层特征能有效调优图像识别模型的网络结构,但对于某些应用,网络隐含层可视化不具有意义,且准确率不能有效地评估模型的表现差异,以至于调优网络结构十分困难。本文中,我们基于在线广告点击率预估的深度学习模型进行研究,通过分析网络隐含层特征泛化能力与网络结构调优之间的关系,提出了基于DC的全连接网络(FCN)结构调优的有效方法。同时,我们研究了卷积神经网络(CNN)学习广告无自然序特征的模型,结合CNN网络结构与特征之间的关系,提出了多特征序的生成方法并应用于CNN网络结构调优。实验结果表明基于DC的方法调优的网络结构模型在性能上取得了明显的提升。
其他文献
为加强社区服刑人员学习矫正工作,认真落实社区服刑人员每月接受教育学习不少于八小时的工作要求,论文设计并开发了社区服刑人员在线学习系统,旨在提高社区服刑人员学习教育
铝合金的比强度高、耐腐蚀性好,是工业中应用最广泛的轻金属结构材料。然而,铝合金也有自身的缺点,如硬度低、耐磨性差,这导致铝合金工件在摩擦条件下的使用寿命较低,阻碍了它的发展与应用。在铝合金表面电镀得到Ni-SiC-MoS_2复合镀层能有效改善其摩擦学性能。然而由于电镀过程受多种条件的影响,因此得到质量稳定、性能良好的镀层显得尤为重要。本文通过对制备Ni-SiC-MoS_2复合镀层工艺的进一步优化,
随着云计算和多媒体通信技术的快速发展,屏幕图像在远程计算、虚拟桌面共享、在线教育等领域有着广泛的应用,受到学术界和工业界的普遍关注,成为当前图像技术领域的研究热点
该项目来源于百度垂直行业搜索产品线的实际项目。随着智能手机的普及,越来越多的用户开始使用手机端进行检索。由于手机大小的限制,一个屏幕可以呈现三条左右的返回结果,因
图表、数据、资料记录、实验比较、逻辑结构通常被广泛用于实验性研究课题的论证依据,在绘画创作领域,存在着国内外艺术家和艺术研究人员将逻辑观念与艺术创作紧密联系的工作
随着信息技术的飞速发展,机器学习在各个科学领域扮演着越来越重要的角色。多实例学习由传统机器学习演变而来。在多实例学习中,训练集由若干个具有概念标记的包组成,每个包
Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)是 Hadoop 的“数据仓库”,其设计的初衷是存储超大文件的,存储小文件的效率不高。HDFS的架构模式是Master/Sla
随着科技的发展,图像处理在实际生活中应用的越来越多,尤其在近几年,深度学习的再次兴起,使图像处理与深度学习紧密结合,解决了越来越多的热点问题。边缘检测在图像处理中占有重要的地位。作为图像基本特征之一的边缘蕴含着图像的重要信息,将图像的目标区域和背景区域区分开。我们可以通过边缘特征来提取感兴趣的目标,边缘检测效果的好坏将直接影响到后续的图像分割、目标识别等一系列图像处理过程。因此,如何有效地从图像中
随着信息技术的飞速发展和人们对信息安全问题的日益重视,身份认证技术也被应用于越来越多的信息系统之中。传统的身份认证方式通过口令或令牌来实现身份识别,存在被破解和盗
Ad Hoc网络是一种由若干无线数据传输设备临时组成的、不需要固定通信设施支持的无中心网络。网络节点既是通信终端,又可作为路由器,为其它节点转发数据。介质访问控制(Mediu