深度随机森林结构优化技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wuyikun2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度森林模型是一种基于随机森林分类器的集成学习模型。相比于深度卷积神经网络,深度森林模型具有模型结构灵活、需要调节的超参数较少、在小规模数据集上性能良好等优势。然而,传统深度森林模型森林间结果集成方式单一,层间特征向量的传递方式不够灵活,而且模型性能随超参数设置改变的波动较大,这些缺陷导致传统深度森林模型性能较低,对超参数的设置也有着较高的要求。本文针对传统深度森林模型结构的缺陷,探索深度森林中的单个随机森林之间的结果集成方式和每一层之间的特征传递方式,并且设计深度森林的超参数自动优化方法,深入研究深度森林的结构优化问题。主要研究内容如下:(1)针对深度森林将最优层结果直接作为模型整体结果而没有考虑多层结果集成的方式对模型性能的影响,设计了加权集成深度森林模型Ad GCForest。该模型根据每一层随机森林在训练样本集上的损失计算该层的集成权重,调整样本在后续迭代训练中的训练权重,使得模型在迭代训练中关注难以被分类正确的样本,最终由每一层随机森林的结果依据各自的集成权重进行加权集成得到模型整体的输出结果。因此相比于传统深度森林模型,Ad GCForest模型在迭代训练中已训练完毕的层的结果对后续层的训练有先验指导作用,并且根据每一层的性能表现来对单层结果进行集成,利用这种集成思想来达到提升模型性能的目的。在UCI Letter,UCI Adult,UCI Yeast,s EMG,MNIST,CIFAR-10共六个数据集上的实验结果表明,Ad GCForest均能达到比传统深度森林模型高出0.13%~1.02%不等的分类正确率,证明了Ad GCForest模型的优越性。(2)针对深度森林直接将单层随机森林的结果作为特征向量传递给下一层而造成的单个随机森林同质化对模型性能的影响,在第二章设计的Ad GCForest模型的基础上,引入动态路由算法,设计了特征路由深度森林模型DRAd GCForest。该模型主要根据随机森林输出的结果的差异,确定每个随机森林的输出特征向量,并根据动态路由算法迭代计算每个特征向量的耦合系数,最终将每个随机森林输出的特征向量进行耦合,分别传递给下一层的随机森林。因此,DRAd GCForest模型通过特征向量的耦合过程,提高了每个随机森林接收到的特征向量的质量,减少单个随机森林的同质化,提升了模型性能。在上述六个数据集上的实验结果表明,该模型在相应数据集上的分类正确率比第二章所设计的Ad GCForest模型高出0.04%~0.45%不等,证明了DRAd GCForest模型的优越性。(3)针对深度森林模型性能对超参数设置变化的敏感问题,设计了基于贝叶斯优化的深度森林超参数自动优化方法。该方法利用第二章和第三章中有关超参数设计的实验结果作为超参数自动优化的真实目标函数的先验分布,通过高斯过程在迭代寻优中建立和更新真实优化目标函数的后验概率代理模型,并利用采集函数最大化的方式确定最有潜力能够模型性能提升的超参数组合。在上述六个数据集上的实验结果表明,在自动优化方法寻找到的超参数组合下,Ad GCForest和DRAd GCForest模型均比人工设置的超参数组合下高出0.04%~0.37%的分类正确率,同时该方法在迭代寻优过程中不需要人工参与,减少了人工操作的工作量。
其他文献
《红楼梦》是我国著名的古典长篇小说,作者曹雪芹(约1715-约1763),小说共120回,后40回由高鹗于18世纪末补写。18世纪中叶就已流传于民间。《红楼梦》是一部具有高度思想性和高度艺术性的作品。小说能在中国文学史甚至在世界文学史上成为不朽的艺术典型,是因为塑造了众多具有独特性格特征的人物形象。较早的《水浒传》《西游记》等一类长篇小说特点是情节和人物单线发展,而《红楼梦》有了新的重大突破,它创
众所周知,无论是科研学习还是平日工作甚至是日常生活中,无线局域网(WLAN)都是不可或缺的一个部分。既然WLAN如此的重要,我们对它进行新的信道编码方案的应用研究也就有了很现实的意义。WLAN的信道是衰落信道,而IEEE802.11标准组织也针对WLAN制定了一系列标准。2009年,E.Arikan在提出了信道的极化现象后,又提出了极化码。直到现在,极化码(Polar Codes)仍然是一种较为新
对哲理性励志文本的翻译常见于励志演讲或专门的励志书籍当中,且大多都集中在研究某一理论支撑下的翻译策略。而对自传文本的翻译研究通常都关注对整个文本的翻译策略探讨。相比之下,对自传文本中哲理性语句的翻译研究却是寥寥无几。本文以My Life on the Road(《我的生活在路上》)的汉译为例,浅析自传文本中哲理性励志语句的翻译策略。该书主要讲述了作者成长过程中在旅途中与各类陌生人之间发生的奇闻逸事
关节软骨是覆盖在软骨下骨表面的一种无血管、无神经的结缔组织,能够传递载荷、缓冲吸震,维持正常的生命活动。关节软骨一旦出现损伤,其力学性能将发生改变,且难以自我修复,最终演变为骨关节炎疾病。本文以缺损关节软骨为研究对象,进行应力率、蠕变与棘轮实验,研究其准静态、棘轮力学性能,以及裂纹缺损的扩展行为。结果发现:含缺损关节软骨在拉伸载荷下具有率相关性。随应力率的升高,相同应力所能达到的应变降低,杨氏模量
PPP是公共基础设施中的一种融资模式,为了弥补政府提供公共服务的短板,PPP模式被广泛运用。这种模式在中国的广泛运用,一方面可以激发社会资本方参与市场运行的积极性,增加公共基础设施的供给数量和服务质量。另一方面还可以通过社会资本方的参与减轻各级政府的财政压力,从而起到促进社会主义市场经济健康发展的作用。最近几年,虽然通过我国各部委和各级政府的大力推广,PPP模式得到迅速的发展,但毕竟相比于国外发达
生物组织层析成像属于强散射介质成像,在此类介质的层析成像中,信号光子数少、成像信噪比低,难以实现高分辨力和大层析深度。因此,生物组织层析成像一直是光学成像领域的一个有挑战性的课题。在生物组织成像中,提高层析成像系统的灵敏度和杂散光的抑制能力是解决此问题的有效方法。基于Nd:YVO_4微片激光器的激光移频回馈技术具有极高的光学增益,可达106量级;微米级的激光束腰作为天然的空间针孔滤波器,可有效的滤
学位
晚明万历年间至崇祯年间在中国历史上是一个“天崩地裂”的时代,在书法史上确是格物鼎新的变革时期。与黄道周同一时期的王铎、倪元璐、张瑞图等人协力把行草推向了时代的高峰,成就了晚明潮流书风在中国书法史上的一段佳话。然而将书法视为“七八乘小事”的黄道周,“一代大儒”这应该是他被人知晓的第一评价。从徐霞客对黄道周书画、文章、人品、学问等方面进行的评价,可见黄道周的书法成就确实是其成就中微乎其微的一部分。尽管
万物互联的美好愿景迫切地要求网络服务提供商在更深入地向垂直行业开放网络能力的同时,提升网络本身的易用性和可靠性,打造网络即服务(Network as a Service)的生态体系。IP网络体系提供的尽力而为服务在过去取得了辉煌的成就,近年来SRv6技术的兴起以及其与SDN的天然整合让人们看到了使用IP网络提供端到端可靠服务的更多可能性。为了满足在提供更多可靠性的同时提升网络开放能力的技术诉求,本
在2017年9月初,道德教材被改名为“道德和法治”,其中七年级下册、八年级下册和九年级上册的教材中均涉及到法律知识,以便于加强法治教育的系统性,让法治教育的内容贯穿于初中德法教育的全过程。当前,国家和社会高度重视初中生的法治教育,新版《道德与法治》教材设计符合初中生身心发展的特点。并且,历经多年的思想道德教育浸润,初中生基本都已具备了一定程度的法治思想基础。随着法治和普法教育的不断的发展,这不仅是