【摘 要】
：
目前,面向卷积神经网络(CNN)的二阶优化器的研究工作还相对较少。本文针对求解CNN模型优化问题的L-BFGS优化器,围绕如何提高稳健性和运算效率等方面开展研究。首先,通过对常
论文部分内容阅读
目前,面向卷积神经网络(CNN)的二阶优化器的研究工作还相对较少。本文针对求解CNN模型优化问题的L-BFGS优化器,围绕如何提高稳健性和运算效率等方面开展研究。首先,通过对常用的L-BFGS算法中的下降步长进行限制,以及为CNN模型问题的代价函数添加正则项,克服了L-BFGS优化器使用过程中可能出现的数值溢出等不稳定现象。接着,为进一步提高L-BFGS优化器的运算效率,提出了两种加速方法。第一种方法通过将模型参数划分为两部分,对归属于不同部分的参数分别采用不同的方式进行更新,并针对三种不同的划分方式给出了相应的数值实验,结果表明方式二加速最明显。第二种方法基于当前硬件环境的特性,并结合L-BFGS算法和TensorFlow的运行特点,通过更底层的CUDA,设计了两种新的数据结构,数值实验表明新的L-BFGS优化器具有更高的的运行效率。
其他文献
背景直接前方入路(direct anterior approach,DAA)是一种通过肌肉间隙进入,在不过度损伤髋关节周围软组织的情况下暴露髋关节的手术入路,通过该入路进行全髋关节置换术(total
静电纺丝技术是目前普遍应用于制备微纳米纤维的技术之一,具有绿色环保,高效可控,可规模化生产等特点。另外,其制备的微纳米纤维直径可从几纳米到几微米不等,通常具有比表面积大,高孔隙率,物理性能独特等优点。近来,各国科研人员付出了大量的时间精力来研究改善静电纺丝技术,并探索开发其在组织工程、生物医药、纳米器件等领域新的应用,推动了静电纺丝技术的发展。目前,静电纺丝技术主要分为溶液静电纺丝和熔体静电纺丝。
生物数学领域中的许多模型都可归纳为反应扩散方程(系统),而具有空间扩散项的Lotka-Volterra竞争系统是生物数学领域中重要的模型之一.近年来关于多竞争物种间相互作用的种群动力学已经有不少的研究.考虑到物种的繁殖由于受到妊娠、环境及成熟过程等方面的影响,时间滞后因素是在所难免的.同时,实际生活中生物体的生存空间都不是连续的.因此,理解时间滞后和空间离散性对系统的动力学行为的影响有着重要的意义
电报方程是重要的数学物理方程之一,在电信号的传输、分散波的传播、机械系统、振动系统等诸多不同领域都有着应用,并且双曲方程是电报方程的一种特殊形式。本文将研究带非局部边界条件电报方程的解析解和有限差分数值解。本文首先简单介绍了关于非局部问题和电报方程的研究背景。其次,给出了自共轭边界条件的相关概念及基本性质,并讨论了自共轭的8)-4)4)7)7)0)特征值问题。再次,利用分离变量法,讨论了三类带非局
目的:本研究探讨人为降低小鼠体内铁离子含量对药物诱导成瘾行为的影响及其潜在的神经生物学机制。方法:在正常喂养小鼠以及连续喂养三周以上特制低铁饲料的缺铁小鼠中,通过
圆锥规划作为一个特殊的非对称锥规划,在锥规划领域有非常重要的地位,常见的有线性圆锥规划和凸二次圆锥规划。由于圆锥是一个非对称锥,关于圆锥规划问题的算法研究存在一定难度,现有的一些算法利用圆锥与二阶锥的转换关系克服了这些困难,但在复杂性和收敛性等方面依然存在不足之处。面对以上不足,本文针对两种圆锥规划问题提出了不同的投影算法来进行改善。针对线性圆锥规划,引入一个投影函数,提出了性能更好的全牛顿步投影
外泌体是细胞主动向外分泌的大小均一的纳米级囊泡样小体,由多种哺乳动物细胞产生,可有效递送其分子货物至受体细胞。最近报道,植物来源的外泌体样纳米颗粒(exosome-like nanoparticles,ELNs)已经从西柚、葡萄、生姜、胡萝卜中被分离鉴定,并发现ELNs与哺乳动物来源的外泌体在结构和大小上均类似。本课题组从植物药汤剂中分离鉴定出一类外泌体样纳米颗粒,命名为汤剂体。汤剂体中包含脂质、
目的通过烟酰胺腺嘌呤二核苷酸磷酸-黄递酶(nicotinamide adenine dinucleotide phosphate-diaphorase,NADPH-d)的组织化学方法,来研究年轻鸽子脊髓和延髓中的NADPH-d阳性反应及其分布特点,并且从NADPH-d组织化学染色的角度来详细说明年轻鸽子的腰骶段脊髓后索及中央管背侧的灰质如何从闭合到开放再到闭合的过程,并探究在老年鸽子及老年小鼠的腰
人脸对齐作为人脸识别流程中一个承上启下的关键步骤,在人脸检测的基础之上精确定位人脸关键点的位置,并为人脸识别、追踪、属性分析等应用提供精确度的保证。由于人脸图像容
对于一般生灭过程衰减参数的研究,早在1986年Var.Doorn对生灭过程给出了拟平稳分布存在的一些重要的结论,同时也给出了衰减参数的估计形式。陈木法也给出了计算衰减参数的表达式,但是对于某些例子计算却十分困难。众所周知,对于一般的生灭过程而言,在以概率1灭绝的前提下,当<+∞时,拟平稳分布是存在的且是唯一的。当=+∞时,若衰减参数大于零,则存在一族拟平稳分布;若衰减参数等于零,则拟平稳分布