【摘 要】
:
人工智能技术如今在诸多领域已经取得了巨大的突破,得到了非常广泛的应用,例如目标检测、图像识别和自然语言处理等。目前由于“数据孤岛”问题和愈发严格的隐私安全管控,人工智能技术面临着缺乏高质量训练数据的困境。由于联邦学习支持用户在不分享原始数据的条件下联合训练模型,能够汇聚更多分散的数据共同建模,因此逐渐成为人工智能研究领域的热点。然而,联邦学习环境中存在的数据异质性和系统异质性因素会导致模型训练效率
论文部分内容阅读
人工智能技术如今在诸多领域已经取得了巨大的突破,得到了非常广泛的应用,例如目标检测、图像识别和自然语言处理等。目前由于“数据孤岛”问题和愈发严格的隐私安全管控,人工智能技术面临着缺乏高质量训练数据的困境。由于联邦学习支持用户在不分享原始数据的条件下联合训练模型,能够汇聚更多分散的数据共同建模,因此逐渐成为人工智能研究领域的热点。然而,联邦学习环境中存在的数据异质性和系统异质性因素会导致模型训练效率低下和模型收敛精度不理想等问题。本文针对异质性环境下联邦学习模型训练效率和收敛精度偏低的问题,基于深度神经网络模型训练问题,重点研究如何减少异质性因素对联邦学习的影响,提升模型训练的效率和精度。重点工作和创新点如下:(1)提出基于多目标优化的参与方选择算法。该方法综合考虑联邦学习环境中的数据异质性和系统异质性因素,基于多目标优化的思想,根据参与方数据分布的全面性、均匀性以及计算能力高效性和平衡性等多个优化目标综合考虑,对原始参与方集合进行筛选,以减少参与方集合中存在的异质性因素,尽可能提高联邦学习的训练效率和收敛精度。(2)提出本地更新轮次自适应调整算法。由于联邦学习模型训练的参数更新过程主要是在本地更新阶段完成的,因此不同大小的本地更新轮次设置对模型的收敛精度和训练效率有至关重要的影响。传统的联邦学习算法采用固定的本地更新轮次设置,由于异质性因素的影响,较大的本地更新轮次设置会造成模型参数发散过大而导致收敛精度下降,而较小的本地更新轮次则会使得收敛所需的通信轮次增大而导致训练效率降低。本算法通过准确感知训练状态并根据不同训练阶段动态自适应调整本地更新轮次,在保证联邦学习模型训练效率的同时尽可能提高模型最终的收敛精度。(3)搭建面向异质性环境的高性能联邦学习系统。在上述两项研究的基础上,设计并实现了面向异质性环境的高性能联邦学习系统,该系统实现了训练服务器管理、任务管理等功能,并提供友好的可视化界面与系统用户交互,以及将训练服务器节点运行情况、任务执行情况和模型结果等信息进行展示。
其他文献
多目标优化问题通常具有两个或两个以上相互冲突的目标。进化多目标优化算法被广泛用于解决多目标优化问题。这种算法可以找到一组兼顾收敛性和分布性的解决方案,同时使得这组解决方案逼近整个Pareto front。然而,相比于整个Pareto最优解区域,决策者通常只对一小部分与其最相关的权衡解感兴趣。另外,为决策者提供大量的非支配解不但会增加其工作量,也会影响决策者的精准决策。因此,在现实问题中,多目标优化
在计算机视觉领域,理解人物目标是关键且具有挑战性的一个话题,而人体解析是实现这一目标的任务之一。人体解析是语义分割的子任务。人体解析是一个密集预测的任务,其目标是定位人体所在区域,并进一步将其划分成多个语义区域。近期,人体解析被广泛应用于其他分析人物目标的任务中,例如行人再识别、姿态估计、人体图片生成等。现有的基于深度学习的方法可以归纳总结为:基于特征增强、基于人体结构、基于多任务学习、基于生成对
近年来无人机、无人小车等智能体因其稳定性高、适应性强、风险小等特点得到了快速发展;智能体集群化解决了单个智能体功能性有限的问题,发挥集群优势的同时对智能个体进行了有效的整合。集群避障一直以来是智能体群体控制的重要模块,大多避障算法在遭遇复杂障碍物环境时容易陷入局部最优值使得智能体无法快速进行障碍物躲避;本文根据智能体集群在障碍物环境任务执行过程中避障需要,对Flocking协同控制算法和Q-lea
随着移动智能设备与物联网等技术的飞速发展,人们的家庭生活水平也稳步提升,如今很多的家庭设备也变得智能化。分布式家庭娱乐系统以此为背景,而且基于家庭生活中的各种智能设备如智能电视、电脑、音响等等,探寻一种智能手机与各种家庭设备相互协作的家庭娱乐体系。在该体系下各种智能设备能够各司其职,如智能电视视听效果好、智能手机轻便易操作,因此分布式家庭娱乐系统解决了家庭设备之间的互联互通问题,且使得每一个设备都
近年来,随着人工智能、深度学习领域的发展,深度神经网络模型得到了广泛的研究和应用。其中,计算机视觉方面的研究也取得了突破性的进展,并有许多研究已经有了具体落地应用,这为人们的生活带来更多的方便。然而,对于神经网络的训练,往往需要基于大量的实验数据,而数据的提供方式在实验场景和实际场景有较大的差别。在实验条件下,数据往往是完整的理想化的,由人工直接提供。但在现实世界中,数据往往是随着时间逐渐提供的。
由于脑电信号反映了大脑神经的基本活动,所以能够客观反映出人的内在情感。然而在脑电信号采集过程中不可避免的出现伪迹,这将导致脑电信号质量不佳;以及现有的特征选择方法无法提取与情感相关的通道,从而将与情感无关的通道也参与脑电信号分类之中,这些结果都会导致脑电信号情感效果较差。为解决上述问题,本文以SEED数据集、DEAP数据集为研究对象,将稀疏化理论引入脑电信号情感分类之中,对特征提取选择和分类算法进
人类对于世界的探索已经不仅仅局限于陆地和海洋,而是将探索的方向转向了更为广袤的天空和宇宙,因此对各个国家在航空航天领域的技术实力提出了更高的挑战,国家在空气动力学领域的研究与进步也就显得尤为重要。空气动力学中在获取气动数据时仍依赖较为传统的方法,但此类方法的局限性较大,通常具有较高的时间或经济成本。而当前人工智能技术的蓬勃发展为空气动力学领域气动数据的获取方式的发展提供了新的契机。空气动力学领域传
人体动作识别作为视频分析中一个非常重要的组成部分,其已经在多个重要领域发挥至关重要的作用,包括视频监控、人机交互、自动驾驶等等。传统的人体动作识别主要基于RGB图像或视频,但由于尺度、光照变化以及背景噪声等因素的影响,效果不尽如人意。近年来,得益于深度传感器的发展以及人体骨骼关键点检测算法的成熟,越来越多的研究聚焦在基于骨骼关键点的动作识别算法上,并且开始使用图卷积对人体骨骼进行建模并加以分析。本