大数据处理支撑平台调度子系统的设计与实现

被引量 : 3次 | 上传用户:13439718
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的飞速发展,计算机硬件的存储能力与计算能力得到了大幅度提高,商家能够以更低的成本保存用户数据,并进行数据挖掘与数据分析,从中获取价值。由此,我们进入了大数据时代。在大数据时代,面对海量数据,传统数据库显得力不从心,如何高效率地存储海量用户数据并对其进行分析计算成为了难题。在这种场景下,大数据处理支撑平台应运而生,采取分而治之的策略,对海量数据进行分布式存储和分布式计算。在大数据处理支撑平台中,调度子系统承担着十分重要的功能,负责集群整体计算任务的调度和执行。本课题的研究目的在于结合浙江移动手机阅读基地实际项目需求,通过设计并实现大数据处理支撑平台调度子系统,提升平台调度能力的智能化,并提高整体任务的调度效率。在实际项目中经过长期调研发现,大数据处理支撑平台存在以下几方面的问题:一是调度系统Web界面只能进行工作流运行状态的监控,不能进行工作流的配置;二是在调度任务数量繁多并且依赖关系复杂的情况下,无论是编写配置文件,还是使用图形化界面进行调度配置,都将成为十分困难的任务;此外,为了减少对集群资源的占用,更快地完成计算任务,还需要对调度效率进行优化。针对上述这些问题,本课题设计并实现了图形化调度配置子系统,自动化调度配置子系统和调度效率优化子系统,分别完成了如下功能:提供图形化界面供用户进行工作流的配置,能够由图形化配置结果生成配置;在用户提供基本调度信息和配置文件模板的前提下,能够由系统自动为用户生成配置;对系统整体调度效率进行优化,缩短整体调度任务响应时间。论文组织结构如下:第一章是绪论部分,简要介绍了本课题的研究背景,研究内容,研究现状以及研究意义。第二章介绍了调度子系统的需求分析和总体设计。第三章重点阐述了图形化调度配置子系统的详细设计与实现方案。第四章重点阐述了自动化调度配置子系统的详细设计与实现方案。第五章重点阐述了调度效率优化子系统的详细设计与实现方案。第六章针对本课题的研究和工作成果进行了总结,并提出了对大数据处理支撑平台未来发展方向的展望。
其他文献
铜具有导电、导热性好,加工性能优良,耐蚀性良好,抗电迁移能力好,熔点高等优良特性,所以铜在很多领域得到应用。但是,硬度低、耐磨性差、易氧化等问题制约着铜的进一步应用,
<正>2012年,微电影的市场景象可以说是生机勃勃,除了继续巩固扩大网络根据地,还将触角伸向移动互联产业、新兴电视栏目和传统院线领域,利用各种传播平台进行多形式、多渠道的
大量研究表明,成就目标定向与自我调节、成就结果密切相关,不同的目标定向对应着不同的自我调节策略和模式,自我调节在成就目标定向与成就结果之间起着重要的中介作用。成就
先简单的讲述了一下管理会计,之后讲述了管理会计在单位运行中具有的必要性以及运行管制中的实际事物性,最后就管理会计在单位运行管制中的性能用途开展了讲述。希望能够给相
通过研究华南地区模式动物平台建设与发展策略,从而推动华南地区模式动物产业的发展。采用SWOT分析模式,从优势、劣势、机遇、威胁4方面对华南地区建设模式动物平台进行全面
随着我国经济的高速发展,铅锌银金属的需求量不断增大,因此加强铅锌银矿产资源的综合利用具有重要意义,而铅锌银多金属硫化矿综合回收一直以来都是矿产资源综合利用的难题。铅锌
农业产业化符合我国国情和世界农业发展趋势,是实现现代农业化的有效的途径,推进农业产业化经营是我国由传统农业走向现代农业的必由之路,尊重客观规律,是树立新的农业产业化
鲁迅《伤逝》展示了"五四"一代知识分子代表子君和涓生在追求爱情自由道路上的不成熟及其引发的悲剧,张爱玲的《倾城之恋》中白流苏与范柳原处于战争年代的爱情投机,其看似幸
“三农”问题是当前我国发展面临的一大严峻问题,解决“三农”问题是中国现代化建设的重要工作任务。土地流转能够有效改善土地资源配置效率,进一步激活农业剩余劳动力的转移