【摘 要】
：
在如今的数据中心中,各种分布式任务往往会对各种不同的资源进行竞争,特别是网络资源.如果没有有效的网络调度,那么这种竞争就会降低整个数据中心的运行效率.以往的网络资源调度研究由于忽视了任务里计算与网络需求之间的具体关系,对于任务性能的提升十分有限.因此,旨在探索如何通过网络调度来缩短数据中任务的完成时间(job completion time,JCT),从而提升数据中心的整体效率.通过对基于有向无环图(directed acyclic graph,DAG)的分布式任务的深度分析,发现可以在降低它们的网络占用
【机 构】
：
国防科技大学计算机学院 长沙410073;国防科技大学并行与分布式处理国防科技重点实验室 长沙410073
论文部分内容阅读
在如今的数据中心中,各种分布式任务往往会对各种不同的资源进行竞争,特别是网络资源.如果没有有效的网络调度,那么这种竞争就会降低整个数据中心的运行效率.以往的网络资源调度研究由于忽视了任务里计算与网络需求之间的具体关系,对于任务性能的提升十分有限.因此,旨在探索如何通过网络调度来缩短数据中任务的完成时间(job completion time,JCT),从而提升数据中心的整体效率.通过对基于有向无环图(directed acyclic graph,DAG)的分布式任务的深度分析,发现可以在降低它们的网络占用的同时,却不影响它们的JCT.根据这个发现,提出了一个利用计算图来加速任务执行的网络调度器JIT.为了实现JIT,首先将调度问题建模成为一个整数线性规划问题(integer linear programming,ILP),然后证明了这个ILP可以通过一个等价的线性规划模型(linear programming,LP)来快速求解.此外,通过一些合理的简化,将求解时间降低到了1s.与其他调度器的比较实验结果说明了JIT可以取得1.55倍的整体加速效果,从而有效提升数据中心的工作效率.
其他文献
随着经济和社会的快速发展,国内汽车保有量不断增多,给生态环境保护带来了巨大挑战。出于对环境和能源安全的考虑,越来越多的城市开始构建电动汽车充电站网络。电动汽车依赖于公共充电站提供电量,因此能够准确地预测新城市中充电站的充电需求十分重要,有助于运营策略的制定和新站点的部署工作。由于预测新城市的充电站需求存在冷启动问题,本文使用迁移学习将充电需求知识从具有丰富充电数据的城市迁移到新城市。跨城市充电站需
认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特
知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱予图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过
智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务（SOA）架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享
当信息管理系统需要复杂语言以及多语言平行术语等专业特点时,自主研发的科研管理系统除了能完成各种个性化服务外,还有更好的适应和应变能力.文章对具有地方特色的科研信息管理工作进行了探讨,搭建了支持双向多语言文本的综合科研信息管理系统.系统实现了复杂双向文本在浏览器桌面的正确显示和多语言专业术语的智能输入功能,以此全面提升科研信息管理工作时效和质量.
深度学习是当前医疗多变量时序数据分析的主流方法.临床辅助决策关乎病人生命健康,因此深度模型需要抽取患者个性化表示,保证较高的分析、预测准确率;同时还需提供足够的可解释性,即能解释模型给出分析、预测结论的依据.而现有工作暂未能匹配医疗领域多变量时间序列数据的特性来进行个性化表示学习,同时源于深度学习的黑盒性质,现有模型大都可解释性不足,难以满足临床应用的需求.在此背景下,提出了基于医疗特征上下文学习的患者健康状态可解释评估方法Dr.Deep,将各变量的时序特征分别编码,利用多头去协同的自注意力机制,学习不同
近年来互联网技术的快速发展,伴随而来的安全漏洞问题也日益严重,对于安全漏洞管理已然成为国家企业应对安全问题的关注重点。就目前某安全领域的企业来说,企业内部对于安全漏洞管理仍存在一些弊端有待解决:第一,企业员工获取安全漏洞信息需要通过网络查询多个漏洞公开平台,且各个公开网站收录的漏洞信息有来自厂商机构等存在同一数据多网站收录的问题。第二,对于安全领域的企业来说员工发现漏洞信息没有一个一体系化的漏洞申
3D物体检测是计算机视觉的一个重要研究方向,在自动驾驶等领域有着广泛的应用.现有的前沿工作采用端到端的深度学习方法,虽然达到了很好的检测效果但存在着算法复杂度高、计算量大、实时性不够等问题.经过分析发现3D物体检测中的“部分任务”并不适合使用深度学习的方法进行解决,为此提出了一种基于异构方法的3D物体检测方法,该方法在检测过程中同时使用深度学习和传统算法,将检测过程划分为多任务阶段:1)利用深度学习方法从被检测图片中获取被检测物体的mask、物体类别等信息;2)基于mask,利用快速聚类方法从雷达点云空间
语义分割是计算机视觉中的一个重要课题,被广泛应用于自动驾驶和医学图像分析等不同领域。它为图像中的每个像素点都标记一个语义标签,实现像素级的分类。本文提出了两种改进的语义分割网络,分别应用于二维场景图像和三维脑部MRI图像,即场景解析与MRI分割。论文的主要内容如下:（1）语义分割网络中多阶段的卷积和池化会减小图像尺寸,从而损失位置信息。此外,当图像中的类别数量较多时,语义分割的准确性会降低。针对以
随着系统规模与集成度的快速增加,可靠性与可用性问题成为构建E级计算机系统所面临的重大挑战.针对神威太湖之光超级计算机可靠性与可用性设计与实现开展全面的分析.首先概要描述神威太湖之光超级计算机系统结构.其次,系统提出神威太湖之光超级计算机可靠性增强技术以及故障预测、主动迁移、任务局部降级等主被动容错技术,建立神威太湖之光超级计算机多层次主被动协同的容错系统.再次,根据系统故障统计信息,分析失效分布及主要失效来源,结合指数、对数正态与韦布尔3种典型寿命周期分布,对神威太湖之光系统故障间隔时间分布进行数据拟合分