【摘 要】
:
联邦学习能够使不同数据源(客户端)在不共享数据的情况下,进行深度神经网络模型的联合训练,已成为人工智能领域的一个热门研究方向。但是,传统联邦学习方法面临着设备、数据、模型上的异构性挑战,无法应对不同客户端的个性化特点与需求,导致学习效果下降。为此,本文研究了一种基于交叉注意力机制的个性化联邦学习方法,并面向分类任务进行了系统实现。主要工作包括:1.利用注意力(Attention)机制与客户端自身数
论文部分内容阅读
联邦学习能够使不同数据源(客户端)在不共享数据的情况下,进行深度神经网络模型的联合训练,已成为人工智能领域的一个热门研究方向。但是,传统联邦学习方法面临着设备、数据、模型上的异构性挑战,无法应对不同客户端的个性化特点与需求,导致学习效果下降。为此,本文研究了一种基于交叉注意力机制的个性化联邦学习方法,并面向分类任务进行了系统实现。主要工作包括:1.利用注意力(Attention)机制与客户端自身数据特征,计算客户端之间的交叉相似性,进而提出了基于交叉注意力机制的个性化联邦学习系统框架,使客户端能在模型层次上联合与其特征相似的客户端进行个性化训练,提高了学习效果和模型质量。2.基于所提出的个性化联邦学习系统框架,详细描述了整个系统的设计过程,针对系统框架中的客户端、服务器、数据处理等部分进行了详细的模块设计,并基于Python语言和Pytorch平台搭建与实现了整个系统。3.将系统在图像分类任务数据集:手写字体识别V-MNIST数据集和空气质量估计Third-Eye数据集上进行了多组实验。结果表明,与本地训练和传统联邦学习相比,基于交叉注意力机制的个性化联邦学习分别最高提高了 6.62%和2.34%的准确率(Accuracy),8.79%和4.08%的精确率(Precision),8.41%和3.41%的召回率(Recall)。
其他文献
中国作为四大文明古国之一,加之近年来经济、文化水平不断发展,国际地位也得到了大幅提升。中华文明历经五千年历史长河,优秀的传统文化经过一代又一代地继承与传扬,在舞蹈文化中蕴含着强大的民族精神。优秀的传统文化是一个国家和民族的灵魂,舞蹈作为我国优秀传统文化的重要组成部分,在文化不断传承与发展的过程中,饱含了传统文化的独特魅力。古典舞作为民族文化的精粹,也在不断的创新与优化。审美意识决定审美标准与价值取
随着公共交通和物流吞吐量的剧增,特别是在节假日期间人员流动量非常大,给人工安检带来了巨大的挑战。利用计算机视觉算法辅助人工安检可以提高安检效率,当前基于计算机视觉技术的违禁品检测算法主要是基于图像分类和目标检测的,无法获取违禁品的轮廓信息,并且还存在违禁品边缘模糊、重叠、以及尺度不一的问题。为了解决这些问题,本文提出了一种基于深度学习的X射线安检图像违禁品分割算法,可以得到违禁品的轮廓信息,从而更
在传统的考试场景中,由老师设计题目,考生作答,最终再由老师进行批改,整个过程中最为繁琐的便是人工阅卷的环节。人工阅卷不仅给老师带来繁重的工作量,而且容易出现批改错误、阅卷周期长的问题,对教学带来不利的影响。随着计算机技术的发展,答题卡中选择题填涂结果的自动识别技术已经被广泛应用。而主观题部分,由于涉及到图像手写文字检测、识别和理解等复杂问题,仍然依赖于人工批改。考生手写文字与试卷本身的印刷体文字分
基于毫米波感知的人类活动识别是实现人机交互的关键技术,例如,利用毫米波传感器对独居老人生活状态进行监测。先前工作证实了利用毫米波传感器进行活动识别的可行性,但在实际应用中还存在问题:大部分系统只能近距离识别而无法远距离识别,系统在噪声环境中识别率较低,以及由于时延较长而无法实时响应。因此,本文基于毫米波传感器,针对上述问题进行研究,研究内容及创新点如下。1.设计了基于毫米波传感器的实时远距离活动识