深度学习目标检测网络的模型压缩方法研究

来源 :海南大学 | 被引量 : 0次 | 上传用户:kassi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的发展,卷积神经网络被应用于计算机视觉的各种任务中,如目标分类、目标检测和分割。然而,由于卷积神经网络模型自身的体积大,计算量高,这阻碍了其部署到内存和功耗受限的嵌入式等终端设备上。当前许多基于剪枝和量化的模型压缩方法,在减小模型的尺寸、参数量和计算量上都取得了显著的效果。但这些方法压缩后的模型多数需要特殊软硬件的支持,这增加了部署成本。此外,这类方法主要应用在分类任务中,很少直接应用于检测任务中。为了节约压缩模型的部署成本,本文提出一种三阶段的模型压缩方法:稀疏化训练、分组剪枝和知识蒸馏,使得压缩后的模型无需特殊软硬件的支持,提高模型压缩方法的效率和适用范围,本文的主要研究内容如下:1.针对目标检测网络,本文提出一种新型的结构化通道剪枝方法,称为分组通道剪枝。首先,对网络进行稀疏化训练,筛选网络中不重要的通道;其次,将目标检测网络中不同的层按照功能模块分成多个组,并赋予每组不同的剪枝比例;然后根据每组不同的剪枝比例获取各组的剪枝阈值;最后,根据每组中的剪枝阈值对当前组内特征层执行通道剪枝。2.为了减小较高剪枝率给模型所带来的精度损失,本文进一步引入了知识蒸馏,使用未剪枝的网络作为教师网络,已剪枝的网络作为学生网络。特别地,本文从每组的特征层中提取空间注意力图,使用该空间注意力图作为蒸馏的主要知识,并将教师网络中类别的预测以及目标位置的预测这两种输出作为辅助知识,使用这三种知识对剪枝后的网络进行蒸馏。实验中,本文使用YOLOV4作为目标检测网络,训练数据集使用PASCAL VOC,本文的方法使得模型的参数量减少了64.7%,计算量减少了34.9%,同时相比于原始网络大小为256M,精度为87.1的原始网络,本文压缩后的网络模型以90M的大小达到了86.6的精度。
其他文献
亲社会倾向是个体为了维护他人或集体的利益,自觉牺牲个人利益的心理倾向。学者对亲社会倾向的理论模型、影响因素、测量方式以及亲社会行为的培养进行了许多研究,本研究旨在揭示初中生共情、积极/消极注意偏向及亲社会倾向三者之间的关系。研究一选取天津市某中学366名初一、初二学生进行问卷研究,共回收331份有效问卷,男生172人,女生159人;研究工具为人际反应指针量表(IRI-C)、积极/消极注意偏向量表(
当人们从大量记忆信息中提取目标记忆信息时,这种提取会造成对其它相关的非目标记忆信息的遗忘,这种现象被称为提取诱发遗忘。而在双人互动小组中,说者对目标记忆信息的选择性提取也会造成听者产生类似的遗忘,听者产生的这种现象被称为社会分享型提取诱发遗忘现象。在这一现象中,对于说者而言,提取练习过程是必然发生的,因此由其自身提取练习导致的提取诱发遗忘现象也是普遍存在的;但对于听者而言,其是否随着说者的提取练习
随着智能教育时代的到来,以发展学生计算思维为导向的编程教育受到前所未有的重视。计算思维也逐渐被确立为继阅读、写作和算术等能力之后的第四种能力,是所有人都可以学习并掌握的一种认识世界、解决问题的思维方式。世界各国也纷纷制定了儿童编程教育相关的政策与措施。然而,虽然有一系列的编程教育相关文件政策,我国编程教育却仍处于起步发展阶段,相关的课程标准制定、课程建设、教材研发等都还存在资源的短缺,特别是针对实
中国作为海洋大国,在海洋对国家安全与发展日益重要的前提下强调要建设海洋强国,而海洋强国战略的落实离不开高素质且具备海洋意识的国民。地理课程作为学校教育层面培养海洋意识的主阵地,肩负着海洋教育重担,以何种理念、何种教学方式开展海洋地理教学成为了亟待解决的问题。具身认知作为第二代认知主义强调通过亲身经历促进认知产生并在情境中迁移运用,克服了被动接受教学下身体实践缺乏的弊端,目前备受推崇。海洋教育注重发
21世纪是对话的时代,人类社会的各个领域都充斥着对话精神。作为新课改背景下被逐渐引入到我国的教学形式——对话教学,正是对话理念在教育层面的体现。它基于平等的师生关系,聚焦于交互过程中的动态生成,指向知识概念的深度理解,并体现于学习者“有思想”的行动言说。颁布于2017年的《普通高中地理课程标准》,对过去的三维目标进行升华,凝炼出地理学科核心素养,并明确表示“学生地理核心素养的培养是通过地理教师与学
数学焦虑是人们在思考数学问题或完成数学任务时产生的一种不安和紧张情绪。几十年来,数学焦虑受到许多教育工作者的高度关注。已有研究表明数学焦虑高的学生数学学习兴趣较低,数学成绩不理想。数学对个体发展有深远影响,探索数学焦虑的产生原因及影响因素有重要的意义。日常生活中,接收到关于自己的负面信息使人信心降低,产生焦虑。本研究将对数学性别刻板印象与数学焦虑的关系进行分析。研究一以初一至初三共404名学生为调
在地理课程改革提出地理学科的四大核心素养之后,人们开始越来越重视地理实践力的发展。野外实践能力是地理研究生命力,对自然地理的研究强调到野外对自然要素进行细致观察和测量,对人文地理的研究要求通过问卷、访谈和现场拍摄等方式探索人类活动要素的相关性。然而,由于学校课时安排、经费和学生安全等问题,野外实践力课程尚未得到充分开展。随着研学旅行基地的出现,如何突破难题开展地理实践课便得以缓解,这是一种将理论知
随着我国课程改革的不断深入,越来越强调培养学生创新思维和创造能力,转变人才培养模式。课堂提问是教师引导学生思考,激发学生质疑精神,培养创新思维的重要途径。正如玛格丽特·阿兰所说:“好的问题是促进学习的燃料”,好的提问是进行课堂教学的动力。而如何界定好的问题,怎样设计好的提问?UbD理论强调“理解性教学”并提出“逆向设计”的教学思路,为优化课堂提问的策略提出了新的设计途径。本文从UbD理论的视角研究
波达方向估计(Direction-of-Arrival,DOA)自问世以来极大程度推动了社会的发展,其出现对军用雷达、海洋探测、智能汽车、智能天线、机器人等领域的进步起到了至关重要的作用。因其适用领域众多被广大学者青睐,这也使其成为阵列信号处理的一个不可或缺的研究方向。但是此领域内针对圆信号进行算法研究的研究人员居多,并且大多算法开发环境为均匀噪声,针对非圆信号以及非均匀噪声的研究比较少。非圆信号
多输入多输出(MIMO)雷达是一种依靠多个发射天线和多个接收天线形成大孔径虚拟阵列来获得更高目标检测性能的新体制雷达。由于发射信号的正交特性和不同的天线布置方式,使得MIMO雷达可以同时获得波形分集和空域分集,因此其具有多自由度、更大可分辨目标数、高空域分辨力和抗干扰等优点。MIMO雷达可以克服恶劣天气或光照不足的影响,且MIMO雷达的天线尺寸小,成像积累时间短,有着强大的目标检测能力。MIMO雷