【摘 要】
：
随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望。
【机 构】
：
南京信息工程大学计算机与软件学院,南京信息工程大学数字取证教育部工程研究中心,南京信息工程大学科技产业处
【基金项目】
：
国家自然科学基金(41875184),江苏省“六大人才高峰”创新人才团队项目(TD-XYDXX-004)。
论文部分内容阅读
随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望。
其他文献
针对传统基于协同过滤的推荐算法信息提取能力有限的问题,提出基于网络表示学习的卷积协同过滤推荐算法。将二分网络分成物品与用户同质网络,在各自的同质网络上使用GraphSAGE模型得到融合网络空间信息和用户与物品属性信息的矩阵。在此基础上,利用外积运算丰富用户和物品特征向量各维度的相关表示,通过卷积神经网络训练物品和用户的交互信息得到算法模型。实验结果验证了该算法的有效性,且相比ConvNCF算法,其在Movielens数据集上HR@5和NDCG@5分别提升了1.89和2.19个百分点,在Last.fm数据集
在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使
针对计算机硬件类课程在线实践环节开展途径匮乏、效果不佳的痛难点问题,紧贴大学线上实践授课需求,以嵌入式系统设计课程为例,基于线上线下融合推进思想,提出E-HIL(Enhanced hardware in the loop)实践教学的在线模式,阐述该模式具体实现过程及应用情况,最后从学生实验质量、实践反馈等方面对该教学模式的落地应用效果进行分析。
针对无人机(UAV)协助的毫米波网络下行链路多用户通信场景,设计一种混合预编码方案。在发射端和接收端分别使用混合预编码器和模拟合并器,并将多元联合优化问题分解为子问题进行求解。构建UAV与地面用户的三维位置模型,利用带外位置信息对波束导向向量进行优化,进而通过码本生成模拟预编码器和模拟合并器。以最小化接收数据和发送数据之间的误差为目标,利用卡尔曼滤波算法设计基带预编码器,从而减少用户之间的干扰。仿真结果表明,该方案相比模拟波束成形方案、数字预编码方案和迫零混合预编码方案可有效提升系统频谱效率和能量效率。
在车联网中,车辆可通过无线通信从路侧单元(RSU)下载文件数据,但由于车辆移动性高、RSU部署间距大及传输范围有限,使得车辆可下载数据量受到较大影响。为此,提出一种协作数据分发方案。利用双向车辆和RSU的资源可用性对目标车辆进行辅助下载,使得目标车辆在未覆盖RSU的盲区(DA)内仍能获取所需文件数据,在此基础上,考虑资源节点的竞争接入与传输以及转发完成时间对数据传输的影响,建立理论分析框架来说明数据传输过程。仿真结果表明,相较于同向协助下载和反向协助下载机制,该方案能够提升目标车辆下载数据量,减少DA内数
针对人工分拣垃圾环境差、任务繁重且分拣效率低的问题,为提高垃圾识别与分类的精确度,同时克服垃圾体积小及图像分辨率较低的难题,基于现有深度卷积神经网络模型,提出改进的Faster R-CNN目标检测模型与VGG16及ResNet50卷积神经网络相结合的方法。根据卷积网络的特性,修改Faster R-CNN网络结构,提升小目标检测任务精度,采用Soft-NMS算法替代传统的非极大值抑制算法,并对参数进
从古至今,不同的朝代都有不同的纹饰特点。唐代是我国历史上经济发展空前繁荣的一个朝代,也是我国服装史上百花争艳的一个朝代,经济的繁荣发展对当时的审美文化产生了一定的影响,社会的审美观念也会与之相适应。图像作为一种记录社会历史的媒介手段,真实还原或侧面反映当时的社会现象与社会文化。文章根据图像研究大唐女子服饰纹样之美。
针对密码体制识别研究缺乏对分组密码工作模式识别的现状,提出一种基于决策树的分组密码工作模式识别方案并应用于国密SM4分组密码算法。在CBC、CFB、OFB、CTR工作模式下对大量文本文件进行加密,得到密文文件,同时构造训练阶段和测试阶段所需要的特征向量空间。在训练阶段通过对特征空间的学习生成决策树,在测试阶段根据生成的决策树进行决策,将决策值与标签值相比较得到分类结果。在训练和测试阶段分别构建混合分类模型、混合文本大小分类模型和一对一分类模型,实验结果表明,混合分类模型和混合文本大小分类模型的分类正确识别
为克服传统图像描述模型只能描述已知对象的问题,结合小样本目标检测器和知识图谱,提出一种新的图像描述模型。小样本目标检测器能够检测出描述模型无法识别的对象,并且给出对象的名称,利用知识图谱提供对象的背景知识,结合对象信息,通过引入注意力机制引导模型选取合适的单词,进而生成包含这些对象的描述语句。实验结果表明,该模型的平均F1值较基线模型提升了6.6个百分点,而且所生成的描述语句的质量在SPICE标准
从高职院校发展的需要和现实出发,文章探讨和解决了服装工业学科教学体系的不足,指出构建基于课程模块化的高职服装设计与中文类课程模块化服装工业教学体系的必要性,提出了构建高职服装设计模块化教学体系和中文类课程的指导思想、原则、方法与思路,对探索高职服装行业的教学模式改革具有一定的实用价值。