PCA算法并行优化技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:cychenying2007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在科学领域,随着各类精密仪器的广泛应用和科学计算时模拟生成的数据越来越多,科研人员需要分析和处理的数据也越来越多。数据规模之大使得传统的串行计算方法无法在研究人员可接受的时间开销内得到数据处理结果。如何高效地分析处理庞大的科学数据,并从中获取有价值的信息,也成为了一个挑战。主成分分析算法(Principal Component Analysis,简称PCA)可以有效地简化信息,压缩数据,成为了大数据应用中广泛使用的数据预处理技术。然而在实际应用中,由于数据规模过大,数据预处理这一步还是会造成巨大的时间开销。如何使PCA算法在处理大规模数据时尽可能快速且高效,是很值得研究的问题。传统的超算系统更多关注于“计算密集型”应用,由于需求驱动,新兴的大数据分析生态圈更多关注于“数据密集型”应用。两种技术在一定程度上出现了一些分离。大数据时代下,如何融合大数据技术,利用高性能计算系统的庞大计算能力处理大数据问题已经成为了一个机遇与挑战。本文即以PCA算法为研究对象,研究PCA算法在高性能计算系统上处理大规模科学数据的并行优化技术与高效实现。主要取得了如下成果:1)设计了一种快速PCA并行优化算法。该算法首先对PCA求解的过程进行简化,然后将大数据分析技术中MapReduce的计算模型的思想迁移到高性能计算环境中,使得PCA算法设计在利用高性能计算强大计算能力的同时,又易于在不同平台上使用和实现。2)提出一种面向多核体系结构的多线程PCA实现算法。该算法是快速PCA优化算法设计在多核体系结构下的高效实现。采用OpenMP实现MapReduce计算模型的功能,SIMD进一步优化计算的方法,相对于高效串行算法最多得到110倍的加速比,与在相同计算环境下Intel DAAL算法库中PCA算法的实现相比,最多可以得到28倍的加速比。3)提出一种面向分布式体系结构的分层混合并行优化的PCA实现算法。该算法是快速PCA优化算法设计在分布式体系结构下的高效实现。采用MPI实现粗粒度并行,OpenMP实现细粒度并行,SIMD进一步优化计算的方法,在128个节点上相对于高效串行算法可以得到145倍的加速比,在256个节点上,性能约为Spark MLlib的29.6倍。4)提出一种面向CPU+GPU异构体系结构的异构混合PCA实现算法。该算法是快速PCA优化算法设计在CPU+GPU异构体系结构下的高效实现。采用CUDA实现快速PCA求解过程,OpenMP实现多线程并行控制GPU的方法,在单个GPU上相对于串行算法可以得到202倍的加速比,在单个节点上使用多线程并行混合优化实现可以得到最高553倍的加速比。同时,算法还在SNP基因分析处理HapMap3数据集应用中进行了测试,得到了很好的性能。
其他文献
萜类化合物是一类主要来源于植物的次级代谢产物,结构上通常为异戊二烯单元倍数及其含氧衍生物。萜类化合物广泛应用于药品、食品、香料和化妆品行业,具有很高的经济价值。合
随着工业机器人的发展,精密减速机作为机器人核心部件,主要由小模数齿轮传动,而国内的插齿机加工精度远远不能满足机器人用小模数齿轮加工的要求,因此齿轮加工行业迫切需求一
超疏水材料表面具有防雾、自清洁、抗腐蚀、抗结冰、抗微生物附着和减阻等优良性能,可广泛应用于印刷、建筑、医疗、国防工业、石油等行业,然而快速制备超疏水表面仍存在问题
自纳米孔问世以来,研究人员对其制备材料和方法进行了积极的研究和讨论。随着纳米制造技术的发展,制备纳米孔的材料越来越丰富。另外纳米孔具有离子渗透选择性、离子浓差极化
近年来随着硬件计算能力的不断提升以及计算机视觉技术的不断突破,计算机视觉技术在嵌入式设备中获得了越来越广泛的应用。以大疆公司组织主办的RoboMaster机甲大师赛为背景,
在倡导人本理念、尊重学生主体地位、强调互动合作以及高校权力主体多元的背景下,传统思想政治教育模式已经不能有效适应研究生思想政治发展的实际。以尊重个体价值,强调多元
近年来围绕“双相构成、功能互补”的氢分离合金设计原则,新型Nb基氢分离合金的开发成为了研究重点。其中,Nb-Ti-Ni 三元氢分离合金具有良好的氢渗透性能与较强的抗氢脆性能,
随着我国铁路事业持续向好发展,安全稳定运行是保障各方面快速有序推进的基础,作为铁路常用材料的U75V钢,更是基础中的基础。本文综合U75V钢的化学成分,力学性能,显微组织等
目前高电压输电线路的定期巡检主要以人工巡检为主,要求工作人员巡线目测检查甚至需要攀登铁塔进行检查,效率低且不安全。伴随着数字图像技术与无人机技术的迅速发展,电网公
目前对于截取飞机短波无线电通信音频,识别飞机类型的工作主要是通过人工侦听来识别声音信号中关于飞机发动机的声音以此来推断飞机的类型。但是这种通过人耳进行识别的方法