基于YOLOv3的知识蒸馏算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:wwwzjs19890622
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的快速发展,大量目标检测的技术开始应用于传统领域中,如自动驾驶,人脸识别,工业瑕疵检测等。目标检测中的大模型具有较好的检测效果,但伴随着巨大的网络深度和宽度,耗费了大量的算例和内存资源,难以在移动端部署。小模型可以在移动端部署,但往往效果不佳。知识蒸馏作为一种模型压缩方法,可以将大网络的知识传递给小网络,在不改变小网络架构的基础上,提升小网络的检测效果。在知识蒸馏中,大网络为教师网络,小网络为学生网络。如何将教师网络的知识有效传递给学生网络,一直是知识蒸馏的核心问题。本文基于工业领域常用的YOLOv3模型,将对知识蒸馏中知识的有效传递问题展开研究,主要工作贡献如下:(1)针对教师网络传递知识的重要程度未被度量的问题,对现有的信号图进行改进,提出基于信息图对特征提取层展开蒸馏。将训练好的YOLOv3作为教师网络,训练好的yolov3-tiny作为学生网络,通过教师网络的输出重新训练学生网络。训练过程中,冻结教师网络的权重,将教师网络从训练集学到的知识经信息图筛选后传递给学生网络,使学生网络的输出逐渐接近教师网络的输出。经实验表明,基于信息图的蒸馏方法在不改变yolov3-tiny网络结构的基础上,在VOC数据集上提升了8.3%的m AP指标值。(2)针对教师网络的知识未被充分传递给学生网络的问题,对特征提取层和特征融合层同时展开蒸馏,使学生网络更充分地学习教师网络。蒸馏过程中,度量教师网络特征融合层与学生网络在特征融合层输出的差值,通过反向传播算法更新学生网络的权重来不断减小差值,使学生网络在特征融合层的输出逐渐接近教师网络。实验表明,对特征融合层的蒸馏可以在(1)的基础上继续提升1%的m AP指标值。
其他文献
在高速公路交通系统中,准确及时的收费站下道流量短时预测可以为高速公路交警部门合理指挥车流量分流提供决策依据,从而有效缓解各个收费站的拥堵情况。同时收费站运营部门可以根据各个收费站下道流量预测情况,合理安排收费站开启收费通道的数量以及工作人员数量,从而节省运营成本。对于出行者来说,提前知道路网收费站的下道流量情况有利于合理安排出行线路,提高出行效率。因此,建立准确合适的收费站下道流量短时预测方法,有
随着同城快递市场的快速扩张,快递企业越来越重视自己的同城快递业务板块。为更好满足同城用户需求及市场发展,快递企业纷纷加快组建同城快递网络。通过组建专门的同城快递配送网络,既可以降低当前网络的分拣和配送压力,同时可以提高快递企业同城快递业务的服务质量,帮助企业提升同城快递市场竞争力。本文基于重庆市某快递企业的实际情况,充分利用企业当前布局完善的网络节点,不需要新修增设网络节点,改建部分现有网络节点为
工业企业每年都会排放大量的高温烟气,这不仅造成了环境的破坏,还造成了巨大的能源浪费。此外,部分集中供热系统供能范围以外的建筑大多采用自建锅炉房解决自身供热需求,一次能源利用效率普遍较低,与当今生态低碳的节能实践不相适应。移动蓄热供热技术正是为了解决工业烟气余热异地利用而出现的。移动相变蓄热装置是该技术的核心部件,本文基于工业烟气余热利用的移动相变蓄热装置开展技术与应用研究。首先,论文讨论了相变蓄热
随着我国近几十年的快速城镇化进程推进,大量农村剩余劳动力向城市转移,导致村镇人口空心化,同时村镇建设用地只增不减,村镇房屋空置率不断攀升,土地空废化现象严重,村镇人地关系发生巨大改变。在国家政策的支撑下,村镇作为城乡系统的过渡层级,在城镇化推进中肩负着重要作用,村镇未来进一步发展成为必然。山地村镇由于周围复杂地形与生态阻隔的限制,在快速空间扩展中建设安全及空间品质问题频发,部分山地村镇面临传统建设
近年来,农业秸秆和畜禽粪便的综合利用引起了各国广泛关注。固态沼气发酵相比液态发酵具有耗水量低、产气率高、沼渣处理成本低等优点,但对有机物的分解不够彻底;沼渣中残余的有机物含量虽高,但腐殖酸含量较低,通过好氧堆肥可提高腐殖酸含量,增加堆肥肥效,改善土壤品质;秸秆和粪便混合发酵可更好地平衡发酵基质的C/N比(碳氮比),促进微生物生长;通过厌氧沼气发酵与沼渣好氧堆肥的有机结合可有助于自然界的碳循环,实现
编织复合材料板是一种轻质高强,由交错相织的纤维束和基体共同构成,整体力学性能优良,广泛应用于航空航天、国防工业、汽车、建筑工程等领域。目前关于编织复合材料板的研究主要集中在拉伸、弯曲、压缩性能、损伤、抗冲击性能等。但编织复合材料板内部构造较为复杂,建立精确的编织复合材料板数值模型是一个巨大挑战。本文基于变分渐近法建立编织复合材料板等效模型,在保证足够精确的前提下,可以大大减少模型的计算时间,节约计
压力传感器作为一种直接获取内部应力大小和分布信息的关键仪器,广泛应用于医疗器具、交通运输、航天航空、环境检测等多个行业。在岩土工程领域中,压力传感器同样扮演着重要的角色。然而,目前应用在实际工程中的传统压力传感器通常是有线的,且内部的敏感元件多为刚性材料制作,容易发生机械脆断等故障。因此设计出一种能够无线传输的柔性传感器在工程中具有着重要的意义和应用价值。本文利用软光刻技术将PDMS(聚二甲基硅氧
程序性细胞死亡蛋白1(Programmed Cell Death Protein 1,PD-1)/程序性细胞死亡配体1(Programmed Cell Death Ligand 1,PD-L1)介导的信号通路涉及细胞增殖、分化、信号转导和程序性细胞死亡等诸多生理过程,现已成为癌症与免疫相关疾病治疗的关键靶点。虽然靶向PD-1/PD-L1通路的抗体药物在多种癌症临床治疗中取得了显著疗效,但仍存在无口
频繁的地震灾害会造成不可估量的人员伤亡和财产损失,震后灾区急需外部救援,因此制定高效合理的应急物流方案具有十分重要的意义。其中,地震应急配送中心选址和运输路径选择作为应急物流方案的关键部分,其优化结果能有效保证应急物资快速及时地送至受灾点,进而保证灾区人民生命安全以及减少国家经济损失。但是地震造成灾区道路损毁,导致路网失效影响灾区可达性,而物流运输作为应急物资流通的承担者,其效率十分依赖于道路畅通
随着社会进步,经济发展,私家车出行已成为居民主要的出行方式。快速的城市化进程使得城市居民数量和私家车保有量飞速增长,带来了一系列交通问题。作为城市化进程产物的通勤使得早晚高峰的交通问题尤为突出。共乘匹配是指发现行程具有高相关性的群体,面向通勤私家车进行共乘匹配是缓解甚至解决早晚高峰的交通问题的有效措施之一,它有助于减少交通流量,缓解交通拥堵,节约停车成本,对于缓解交通问题十分有效。机动车电子标识(