用于高性能计算程序经验性能建模的主动学习方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:pz421769788
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算(HPC,High Performance Computing)在天文地球物理、大气海洋环境等众多领域具有广泛的应用,而性能是高性能计算程序的关键。HPC程序通常包含一些可以调节的参数,例如并行核数、算法选择等,研究表明,经过性能调优的程序可以达到10甚至100倍的性能加速。然而HPC程序的参数和性能往往呈现出复杂的非线性函数,因此性能调优变得异常困难。经验性能建模(EPM,Empirical Performance Modeling)可以很好地拟合这种复杂的关系,实现高效的启发式参数搜索。然而,经验性能建模需要大量的样本作为训练数据,再加上HPC程序通常占用大量的计算资源,并且运行时间较长,例如几个小时甚至几个月,这些因素导致了 EPM高昂的计算和时间开销。为了减少建模开销,已有工作提出了一种基于主动学习的建模方法PBUS(Performance Biased Uncertainty Sampling),它首先采样出可能的高性能样本,然后采用主动学习算法选择其中不确定性最高的样本,进而减少数据冗余。相对于随机均匀采样,PBUS在一定程度上减少了所需的样本数据,但是本文的实验显示,PBUS将性能和不确定性两种因素前后分离处理的做法存在一些缺陷,可能导致数据冗余问题变得更加严重,因此仍然具有较大的改进空间。为解决已有方法存在的数据冗余问题,本文提出了一种新的主动学习方法,它充分地利用已有的样本信息,能够高效地探索参数空间中的高性能样本,即在利用已知信息(Exploitation)和探索未知空间(Exploration)之间能够作出更好的平衡。具体地,本文在主动学习算法中设计了一种性能加权的不确定性采样策略(PWU,Performance Weighted Uncertainty),用来识别具有高不确定性或高性能的样本。一方面高不确定性的样本可以减少数据之间的信息冗余,另一方面高性能样本的标注开销较小,因此PWU选择的样本可以减少所需的训练数据以及避免高开销的样本标注。另外,PWU策略将不确定性和性能两种因素结合在一起,避免了 PBUS方法中可能存在的缺陷。为了验证这种方法的有效性,我们使用随机森林模型,为来自SPAPT套件的12个计算核程序以及两个典型的科学计算并行应用(Kripke、Hypre)建立经验性能模型。实验结果表明,采用本文提出的方法,在保持相同预测精度的前提下,相比于PBUS方法,采用PWU策略的建模开销加速比最大达到21倍,平均达到3倍之多。具体地,无论对于不同的目标程序,还是不同的建模需求,PWU建立的性能模型的预测结果都更加稳定,说明PWU具有较强的鲁棒性。另外,本文还进行了基于PWU经验性能模型的性能调优实验,实验结果表明,采用PWU策略建立的性能模型,不仅提高了调优的效率,而且提升了调优的质量。综上,PWU成功克服了已有方法的缺陷,显著减少了可能存在的数据冗余,在建模效率、模型质量、方法鲁棒性等方面都具有一定的优势。
其他文献
随着全国工业化水平及自主创新和研发技术地不断提高,人们对于新材料的需求不断增长,进而专门用于测试新材料力学性能的试验机需求量就更大了。气囊作为汽车安全系统中重要组
轨道是由钢轨和轨枕组成的,连接钢轨和轨枕之间的零部件就是扣件,它主要作用就是使钢轨牢固的固定在轨枕上,扣件的状态是否良好,成为了铁路运输安全的一个重要因素。良好状态
现代工业对产品制造精度的要求变高,工业机器人在精密制造领域有着十分重要的作用,传统测量方法存在机械接触导致测量精度低且无法进行实时测量的弊端,难以实时且准确地获取
拓扑优化是结构优化过程中的重要组成部分,目前针对结构线性变形问题的拓扑优化方法的研究已经相当成熟,而对于处理结构在非线性工况下的拓扑优化方法的研究还处于发展阶段。
随着人们生活水平和生活质量的提高,对环境污染、食品安全和医疗健康等问题日益关注。为了实现相关领域的气体检测,高灵敏度、良好选择性和稳定性的气体传感器的需求逐年增加
紫外传感器是一种针对电磁波中10 nm-400 nm的辐射进行高精度检测的传感器。这种传感器具有广泛的应用,如安全空-空通信,环境监测,水体杀菌,火焰探测和导弹尾焰监测等。因此,
重金属污染物和癌症对人类的健康都有着极大的威胁。重金属污染物如Hg2+,作为最危险的重金属离子之一,被人体吸收后,可直接引起脑损伤、肾衰竭和运动障碍等疾病。每年的癌症
为了让无人机在森林、室内、以及建筑物繁多的城市且GPS信号较弱甚至失效的情况下都能对隐蔽目标进行侦查并及时采取措施,需要对UAV装备视觉传感器等任务设备采集更加可靠的
随着科技化的发展以及生活水平的提高,娱乐领域的各种设施不断的革新,各种传统娱乐都逐渐增加了自动化元素,普通台球机的娱乐过程,需要人工亲自收集台球并按照台球规则进行摆
在目标跟踪过程中,目标的尺度在短时间内发生突变会导致跟踪要素的丢失,造成跟踪误差不断积累,最终导致目标跟踪漂移。近年来,深度学习方法在目标检测上取得了很大的进展,本