面向SKA科学数据处理的调度策略研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:fengliufeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前处于建设状态中的平方公里阵列(Square Kilometer Array,SKA)将建成为世界最大规模的射电望远镜阵列,并用于进行一系列天文相关的科学研究。其观测数据处理系统称为SDP(Science Data Processor)。由于观测数据庞大,单一的计算中心无法承受如此庞大的数据计算与存储压力,因此需将计算任务分流至下属计算节点,以分布式计算的方式解决此问题。这样一来,自然就产生了计算任务的调度分配问题。而计算任务之间存在依赖,造成了当两个相关的计算任务被分配到不同的计算节点时会需要进行一定量的信息交换,这种信息交换我们称为边通信。本文将边通信纳入考量,对SDP的调度算法进行了研究,并通过实验验证其可行性与有效性。待调度的全部任务集使用DAG(Directed Acyclic Graph)表示,任务集整体执行时间称为makespan,调度的目标在于减少整体执行时间。目前的算法的缺陷在于没有将边通信作为约束条件纳入考虑。虽然现有主要调度方法也是基于DAG,但是主要考虑DAG中每个节点的计算任务复杂度,基本忽略节点之间的海量通信的影响。边通信在实际的调度过程中是不可忽略的,并且往往对调度结果存在较大的影响。本文将针对目前调度算法没有考虑边通信成本这点,进行改进。本文着眼于边通信代价,改进了轮询算法,对不同边通信场景下调度算法展开了讨论。对于同属实时调度系统的IMA(Integrated Modular Avionics)中的分区调度,本文展开了研究,并基于两个场景的相似性设计了面向周期性观测数据场景的调度算法。以边通信成本的大小划分了轻边通信场景与重边通信场景,并对于这些场景提出了修正路径算法与边通信路径算法。轻边通信场景示例中,我们使用DAG边的数量为节点数量10%,边通信成本为上游节点权重的百分之八到十的样本进行了实验。结果表明,修正路径算法相对于轮询调度算法对makespan的降低平均达到21.12%;修正路径算法相对于关键路径算法使makespan平均降低了10.85%。重边通信场景的示例中,我们使用到的DAG边的数量为节点数量的百分之五十,边的权重为上游节点权重的百分之五十到八十。边通信路径算法相对于轮询算法对于makespan的降低平均达到31.88%;相对于关键路径算法对于makespan的降低平均达到20.86%;相对于修正路径算法,边通信算法对makespan平均降低为15.34%。综上实验结果,我们提出的算法对不同场景下的makespan有一定的降低。之后本文讨论了不同场景的划分,并对不同特性的输入数据展开实验,讨论了适用于不同场景的算法。通过实验,我们划分了轻边通信场景和重边通信场景。对于边权重较大,占上游节点权重的55%及以上,边的数量占节点数量的比例较大的数据集,使用边通信路径算法能得到比较好的makespan。对于边权重较小,占上游节点权重的30%及以下且边的数量占节点数量的比例较小的场景,使用修正路径算法能得到比较好的makespan。
其他文献
临矿集团经山东省政府批准组建的国有独资公司,目前拥有煤矿、铁矿、山东玻纤集团、山东煤机集团等14个非煤单位。根据临矿集团企业整体布局规划,在临沂市苍山县已建成采选规模500万吨/年的大型铁矿——会宝岭铁矿。为进一步加强临矿集团铁矿产业模块建设,凤凰山铁矿项目将作为临矿集团发展的重要拼图。凤凰山铁矿的规划、投资和建设,不仅有利于集团产业规模的发展,更有利于响应省政府提出的新旧能产业转化的号召,同时带
随着人类迈入21世纪,在新科技革命推动下,科学技术不断进步,经济结构不断调整,产业结构不断升级[1]。环境形势的复杂性客观上要求企业家在明确企业发展方向时,时刻具有战略头脑,注意研究带有全局性、前瞻性和创新性的重大问题,思考企业如何面对新的市场环境,明确企业发展方向,抓住机遇迎接挑战。由于企业家战略思维是一种复杂的思维方式,它不同于一般的科学的逻辑思维,很难通过统计建模揭示战略目标与行动方案之间的
生物脱氮系统中的硝化菌作为硝化阶段的功能菌,直接决定生物脱氮效果。硝化菌对环境因子的变化比较敏感,因此,工艺运行条件(温度、溶解氧、污泥龄和水力停留时间等)会影响硝化
超支化聚肽及其共聚物结合了超支化聚合物优异的物理化学性质和聚肽材料良好生物相容性和可降解性的优势,在生物医药领域具有广泛的应用和发展潜力。然而目前超支化聚肽材料的合成方法局限于热缩聚和氨基酸单体的迭代开环聚合,可选择单体种类较少、步骤过于复杂且机理不明确,限制了其合成和应用方面的研究。本论文基于新型离子单体ε-四氟硼酸盐-L-赖氨酸-N-羧酸酐(NH_3BF_4-Lys NCA),考察了一锅法均聚
手性1,3-二醇及其衍生物广泛存在于众多天然产物和具有生理活性的药物分子中,开发手性1,3-二醇的合成方法学是不对称催化领域重要的研究课题。合成手性1,3-二醇的最普遍的方
步进式工业加热炉作为当今钢厂轧钢生产线的关键工序,是钢坯生产必须经过的加热处理设备,对轧钢生产线的平稳运转起着至关重要的作用,所以在自动化生产钢坯的过程中,步进式加
计算机视觉研究领域的运动目标检测为其重要课题之一,其技术原理综合运用了计算机视觉、模式识别及人工智能等邻域的科学技术,其商业价值和应用前景主要体现在军事应用、系统
近些年来,曲率属性方法被广泛应用于地球物理勘探领域,特别是在地震数据的解释当中应用最多,这种方法主要通过地震反射体的弯曲程度来确定地层构造的断裂和起伏情况,从而达到地震解释的目的。在数学领域,曲率描述了曲线或曲面相比直线或平面的偏离程度。在重力勘探领域,地下结构横向不均匀所引起的密度差异能够产生重力异常,从而形成弯曲程度不同的异常曲线或曲面,所以,从理论角度出发,曲率属性方法可以用于重力异常数据的
ZnO具有独特的结构和优异的性能,其中包括电学、磁学、常温发光性能和抗菌抗紫外等性能。因此在纳米发电机、化纤纺织品、光电子器件和陶瓷等领域展现出了很好的应用前景。不同形貌、尺寸的微纳米结构具有不一样的性质,因此制备和研究不同形貌、尺寸的微纳米ZnO材料是极其有意义的。ZnO自身带有一定的缺陷,在一定程度上降低了其光催化性能。通过研宄发现,稀有金属离子掺杂可以有效地改善半导体光催化剂的光催化性能。涤
本论文的研究工作主要包含三部分内容:一、利用两个三角半刚性的三苯胺含氮类配体三(4-吡啶基)三苯胺(TPPA)和三(4-咪唑基)三苯胺(TIPA),通过溶剂热法得到了三个配位聚合物。二、利用