基于知识蒸馏的输电线路螺栓缺陷图像分类

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:longaizj21
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
输电线路螺栓图像二维视觉信息较差,导致螺栓图像分类时大模型资源消耗大,小模型分类精度低。本课题将基于深度学习的知识蒸馏技术引入到输电线路螺栓图像分类任务,并根据自建数据集特点从网络性能传递和网络结构匹配2个角度进行研究,确保满足大规模部署的小模型能够充分拟合大模型的螺栓缺陷图像分类性能,实现资源消耗与精度的平衡。针对螺栓图像类间差异性较小、类内差异性较大,导致大模型知识传递不理想甚至错误的问题,本课题从网络性能传递角度提出了基于动态监督的知识蒸馏螺栓缺陷图像分类方法。在网络输出层采用自适应加权方法,提高小模型学习螺栓缺陷标签的准确性;在网络隐藏层进行注意力转移,提高小模型的螺栓特征表达能力;大模型(Resnet-40-2)将输出层的自适应加权方法与隐藏层的注意力转移机制相结合指导小模型(Resnet-16-1)训练,充分提高小模型的螺栓缺陷分类能力。在自建螺栓缺陷图像分类数据集上对提出的知识蒸馏方法进行了实验验证,结果表明小模型的分类准确率为89.28%,提高了2.17%,小模型与大模型的分类准确率只差0.63%,且小模型的参数量仅为大模型参数量的7.8%。针对螺栓图像分辨率低和视觉信息较差,导致精简小模型分类性能较差的问题,本课题从网络结构适配角度对知识蒸馏模型提出了基于最优知识传递的模型优化方法。首先将小模型结构精简至3个残差块,精简小模型保留了低层、中层、高层的网络结构信息;同时拓宽大模型螺栓图像特征表达维度,增加向精简小模型传递的螺栓知识。然后将不同宽度大模型利用输出层知识蒸馏算法和隐藏层注意力转移算法分别指导精简小模型训练;为了选出传递螺栓知识最优的大模型,提出了知识偏差的评价指标,可视化大模型向精简小模型螺栓知识传递的程度;综合分析知识偏差和精简小模型的分类准确率,确定宽度为5的大模型时最优知识传递模型。最后,最优知识传递模型(Resnet-40-5)将自适应加权算法与注意力转移算法相结合指导精简小模型(Resnet-10-1)训练。在自建螺栓缺陷图像分类数据集上进行了验证,实验结果表明精简小模型分类准确率为88.85%,提高了5.59%,精简小模型与最优大模型的分类准确率只差2.14%,知识偏差为0.28,且精简小模型的参数量仅为大模型参数量的0.56%。
其他文献
近年来随着风电行业快速增长,人们对机组运行的安全性、稳定性和可靠性有了更高的要求。为了弥补风电场运维存在的“维修过度”及“维修不足”的缺点,风电领域引入了故障预测和健康管理技术,使其可以尽早发现故障的早期症状或者微小故障,及时排除,避免造成更大的损失。本文开展了基于机器学习的风电机组故障预测与健康管理的研究,旨在通过发展视情维修来提高风电机组的安全性和可靠性,主要包括机组的故障诊断和故障预测两个方
为应对能源危机、缓解环境问题,发展可再生能源成为世界各国的共同目标。随着风电、光伏发电等间歇式能源大规模接入电网,给电网的频率调整和安全运行带来极大的挑战。作为目前技术最为完善、存储容量最大的储能电源,抽水蓄能电站具有良好的调频、调峰能力,是保证电网稳定运行的有效手段。常规的抽水蓄能机组一般采用同步电机,在抽水工况无法进行功率调节,在发电工况无法运行在最佳效率区间。相比之下,新型的变速抽水蓄能机组
低压配电网的用户用电数据是低压台区线损计算、负荷预测、非侵入式负荷识别等应用的基础,但在采集、传输等环节,用户数据往往会出现不同程度的缺失,成为后续应用的瓶颈。为了突破这一瓶颈,本文针对低压配电网用户数据的特点提出了基于张量的低压配电网用户数据高精度补全方法。(1)首先,本文详尽地分析了低压配电台区产生数据缺失的原因,并总结分析了经典数据缺失模式。然后,从数据的相对值、绝对值及波动性角度出发提出了
随着当今社会科技的飞速发展,机器人在人类生活中扮演着越来越重要的角色,人们希望采用自然语言与机器人对话,因此人机对话技术受到了学术界和工业界的广泛关注。虽然人机对话技术已经取得了较大的进步,但当前对话系统仍处于起步阶段,它通常只是被动地回答对方提出的问题或要求。在一些特殊的场景例如警务危机谈判中,模拟谈判专家的机器人在生成对话时,除了要考虑劫持者的语句以外,还需要根据劫持者的情绪、当前的环境以及在
为推动能源转型,保障人类社会可持续发展,融合清洁能源的分布式能源得到越来越多的关注。但由于分布式能源具备分布广、小规模、数量多等特点,导致其结构特殊,很难利用传统电网的集中控制方式进行调控,因此分布式能源调控技术逐渐成为研究的热点与重点。多主体系统是一种由多个独立主体协同合作以完成复杂任务的分布式系统,而分布式能源调控中各单元可被视作多主体系统中的单个主体,由此可将多主体系统应用于分布式能源调控中
集群光伏功率预测为电力市场中的电网管理和交易提供了基础。为了解决传统的区域性光伏发电建模方法的不足,如难以选择有用的气象信息、单个模型无法充分了解功率曲线的复杂多样的波动特征等问题,本文提出了一种将波动模式识别模型与基于卫星云图的波动模式预测模型相互融合的光伏电站集群超短期功率预测框架。首先,对集群光伏功率曲线的波动特征进行提取,包括采样损失面积、平均值、标准差和三阶导数,并基于这些波动特征建立了
传统化石能源储量的不断减少和生态环境的日益恶化,使各种新能源技术快速发展,在全球能源使用比例中不断提高。太阳能光热发电在各种新能源中发展较为成熟,但依旧存在无法稳定供应的问题,因此发展储能储热技术以提高其利用率的研究正受到越来越多人关注。本文以太阳能光热发电中储热系统研究为背景,采用沙子作为储热材料,利用加热的空气模拟吸收太阳能后的热源,主要研究了气固两相换热的过程。这一研究在深入掌握沙子的储热能
随着电网整体规模不断扩大,变压器的数量也在逐年攀升。作为电网的重要组成部分,变压器的运行状况极大影响了供电可靠性和系统稳定性,因此需要对变压器的健康状态进行监测。因为红外热成像仪作为一种测温设备可以有效地呈现设备的温度状态,进而反映其健康状态,所以已经被广泛用于电力设备巡检中。而目前的巡检方式主要依靠人工对已采集的红外图像进行分析,但是当面对海量数据时,仅依靠人工难以完成。所以本文针对性地提出基于
长期以来,世界能源发展过度依赖化石能源,导致资源紧张、气候变化、环境污染等问题日益突出,能够实现多种能源并重、相互补充的热电联供系统越来越受到人们的关注。将热电联供系统与微网结合形成的热电联供型微网能够满足用户的热、电负荷需求,并进一步提高微网运行的经济性与环保性。但是热电联供型微网内的可再生能源出力及电负荷容易受到天气等因素的影响,在预测值基础上存在一定的误差,并且对于热电联供型微网中的供热区域
随着社会经济的发展和科技的进步,无线电能传输技术崛地而起,无线电能传输技术的相关研究受到了极大关注。近年来随着国内外研究的进展,无线电能传输在电脑家电、电动汽车无线充电、便携式设备、植入式医疗设备、航空航天和一些特殊场合等领域得到了广泛应用。本文主要通过理论分析计算、仿真分析、以及实验验证三个方面对磁耦合谐振式无线电能传输系统中参数的设计与优化进行研究,旨在提高系统传输效率。首先根据电路理论推导出