基因测序工作流的任务建模及其调度研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lgkenny1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生物基因测序的计算任务极大依赖于高性能计算系统,为了充分利用高性能计算系统的资源,保证生物基因测序的计算任务被迅速而又高效地执行,采用合适的调度策略非常重要。本文通过对深圳华大基因研究院(BGI)高性能计算系统的计算日志的分析,研究适用于基因测序计算任务的调度策略。本文首先对华大基因研究院(BGI)的高性能计算系统的运行日志进行分析,提取有效任务,挖掘主机群投递任务规律,分析任务特性及属性。在此基础上进行工作流任务特性分析,并基于任务各属性实现任务聚类,采用合适的概率分布分步骤进行拟合,最终形成完整的工作流任务模型。基于仿真系统Gridsim的实验表明该任务模型产生的任务流分布与实际日志分布基本一致。在任务建模的基础上,针对BGI计算系统的原有调度策略FCFS,本文提出了工作流FCFS调度策略,使之可支持生物基因测序的工作流调度。同时还对简单回填算法(EasyBackfilling)的策略进行分析和改进,提出改进回填算法,以适应工作流回填:(1)引入任务运行时间预测,本文采用基于用户历史数据加权的预测时间方法,通过对用户历史数据和用户的任务请求运行时间来预测任务的运行时间,提高回填准确度。(2)对回填策略进行扩展,设置多优先级来处理工作流任务,使回填策略能够适应工作流调度。(3)对任务选择策略进行改进,增加资源负载和任务类别匹配因子,使任务回填不仅满足基本回填要求,还考虑主机负载的影响,以实现负载均衡。本文基于Gridsim实验框架构建实验平台,进行FCFS的设计和仿真,并扩展和实现工作流FCFS、改进回填算法。仿真结果表明,采用本文提出的改进回填调度算法,不仅能调度工作流任务,而且可以有效达到负载均衡,同时也验证了改进调度策略能够有效地降低任务等待时间,提升调度效率。
其他文献
目的比较单侧与双侧经皮椎体成形术治疗骨质疏松所致胸腰椎压缩性骨折的临床疗效。方法前瞻性随机对照研究本院2011年5月~2014年5月骨质疏松所致胸腰压缩性骨折患者,其中采用
废弃钻井液中微细颗粒含量高,泥化现象严重,导致在回收钻井液中的加重剂时普遍存在回收效率低、成本高、易造成环境污染等难题。利用固相间的密度差异,采用旋流器对加重水基
目的评价消毒供应室一体化管理在手术室器械处理中的应用价值。方法选取2017年1月~12月我院手术室器械480件作为研究对象,以计算机表法为依据将其分为两组,各240例。参照组实
研究了氮、磷、钾不同施肥处理对红富士苹果产量、品质和叶片矿质元素含量的影响。结果表明,对于苹果的产量,钾肥效应最大,其次为氮肥,磷肥最小;对于苹果的单果重,氮肥的效应
<正> 绿色GDP是指绿色国内生产总值,它是扣除经济活动中投入的环境成本后的国内生产总值。 一、国外绿色GDP理论研究情况 绿色GDP首先是由国外的学者和机构进行研究的。它是
提出了一种基于关系数据模型的犯罪网络挖掘方法,基于侦查办案分析需求,建立关系数据模型生成犯罪网络,运用该模型可挖掘已知嫌疑人的其他团伙成员,也可在未知嫌疑人的条件下
采用高效液相色谱法测定日光温室内栽培的4个蓝莓品种果实中糖、酸的组分及含量。结果表明,高效液相色谱法可获得分离良好的色谱图,糖的回收率为98.85%~101.90%,有机酸的回收
<正> 本项研究由中文、心理、教育等专业的12个方向的88位研究生组成实验组和对照组,以《思维与研究方法》研究生公共课程名义,采用过程经验与理论审视、要素与联系、接受与
在大数据云服务时代,急剧增长的海量信息对数据存储提出了新的挑战。多级闪存(MLC)存储技术利用不同电位的电荷使得闪存存储容量得到极大提升,但在闪存存储密度提高的同时,带
在园林工程中,苗木采购是园林工程建设中的重中之重,苗木采购质量直接影响苗木成活率和栽植后景观观赏性。本文以中骏·云景台小区景观工程项目为例,重点分析了苗木种类选择