【摘 要】
:
大数据技术正在以惊人的速度与强大的影响力改变着人们的生产生活方式。在高速发展的现代社会,科技越来越发达,交流越来越紧密,信息正在以爆炸式的方式增长。例如,网络日志、
论文部分内容阅读
大数据技术正在以惊人的速度与强大的影响力改变着人们的生产生活方式。在高速发展的现代社会,科技越来越发达,交流越来越紧密,信息正在以爆炸式的方式增长。例如,网络日志、交易订单、用户数据、新闻报道、社交网络内容等等。为了处理与分析这些庞大数据规模的信息,大数据技术应运而生。在单一节点难以承受庞大任务时,分布式处理则成为了大数据技术的基石。流式计算则是一种重要的计算模型。在很长一段时间内,流式数据处理都被见证着拥有广泛的使用场景。这样的应用涵盖了金融、网络监测、传感器以及日志分析等等。随着数据量的不断增加,流式计算也面临着处理大数据流的挑战。对于大规模流式数据处理的需求不断增长,然而对于特定的流式数据处理任务,如何去挑选合适的处理平台却是一件极具挑战的事情。这是因为可选平台的多样性以及每个平台参数配置的复杂性,而且目前并没有关于如何挑选流式数据处理平台以及如何优化平台参数配置的全面性参考。同时,如何根据平台与应用程序需求的不同,为平台配备合适的硬件资源,也没有足够的研究。本文针对上述问题展开研究。考虑到平台的流行性与新颖程度,文中挑选了以下三种平台作为研究对象:Apache Spark Streaming,Apache Storm以及Apache Samza。在实际的基准测试工作中,Spark Streaming与Storm是主要的目标平台,我们对它们的一些参数进行了深度调优。在评测工具方面,论文修改和扩展了基准测试工具StreamBench,它包含了七种基准测试程序,涵盖了数值与文本两种输入格式,单步无状态与多步有状态两种计算方式。文中针对问题本身,制订了相应的测试工作集,定义了合适的度量指标。在评测过程和性能优化方面,本文对三大平台的基本计算性能与容错能力进行了评测,并关注和呈现了一些关键参数对性能的影响以及硬件资源利用的特征。通过分析测试结果,本文发现Spark Streaming Direct模式与Storm Trident能够饱和网络资源,有着更高的吞吐率表现,特别是Spark Streaming的Direct模式,归功于其出色的流水线操作。Spark Receiver模式的吞吐率也比Storm好,但Storm有着更低的延迟。随着数据增长与节点失效,Spark更具有容错能力与稳定性。
其他文献
结合湖北省南漳县生态旅游发展现状,本人认为南漳发展生态旅游重点要做好以下几篇文章。一是选准载体,在山、水、田上做文章念好“山”字经,高标准开发一批“山村农家游”。
胶东地区大地构造位置整体位于华北板块北缘与华南板块的大陆俯冲碰撞带的边缘、古太平洋板块向欧亚大陆俯冲的大陆边缘,包括华北板块东缘地块和苏鲁UHP变质带北段。其中苏鲁
在冲击靶板后效过程中,有效获取侵彻体目标的空间位置信息是冲击过程场景信息探测与处理的关键问题。由于冲击过程瞬态变化快,传统单一视角成像无法实现对遮挡情况下目标的有效探测,利用两个或者多个高速摄像机组成的多目成像系统存在着系统庞大、硬件成本高等问题。本文针对冲击过程目标群中特定目标的空间位置信息获取问题,提出了采用孔径调制的多视角成像方式对侵彻后效过程进行多视角信息获取。本文通过有效视角数、子视角视
随着高中思想政治新课程改革的深入推进,人们越来越重视课程资源的作用,在教学实践中不断探索合适的课程资源已经成为教育工作者的共识。伴随时代向前发展,信息网络技术的普
光声成像技术是近年快速发展的一种无损医学成像模态,可有效结合声学方法在深度组织成像分辨率上的优势和光学方法在组织结构信息上的优势,已成为生物医学成像领域的研究热点
进入21世纪,我国经济水平发展迅速,基层社会也随之发生了很大变化,农村生产力大幅提高,产业结构更加合理,群众对于物质文化的追求迅速攀升、农村面貌发生了天翻地覆变化,但也应看到原来在城市社区常见的环境恶化、社区人口大幅提升、老龄化速度加快、各类利益群体的矛盾突出等一系列问题在农村社区集中显现,对基层社会的和谐发展带来较大阻碍,对基层政府的执政能力提出了更高的要求。但是传统的基层社会治理模式越来越无法
古太平洋板块向东亚大陆下部的俯冲起始与演化,直接影响并改造了整个东亚地区的构造格局,从原来的近东西向的古亚洲洋构造体系转换为北北东-北东向的太平洋构造体系,控制了我
Al2O3/Al-Si复合材料具有较低的密度、较高的比强度、良好热稳定性和适中的导电性,在航空航天、汽车轮船、电子封装等领域具有良好的应用前景。然而在常规凝固条件下,Al2O3颗粒与基体Al合金的润湿性差,制备过程中Al2O3颗粒容易团聚,导致制备的材料力学性能并不理想。而高压可以抑制熔体流动并提高Al2O3颗粒与基体的润湿性,从而提高材料的力学性能。本文采用高压凝固的方法制备了Al2O3/Al-
中国铝车轮行业产量中有70%以上给OEM整车厂配套,中国铝车轮行业总产量占全球产量的60%以上,中国铝车轮总产量的50%左右出口,铝车轮行业排名前4位的集团公司总产量接近全行业
语言是不断发展变化的。减音现象作为音变现象的一种,是语言发展变化的重要体现。本论文以蒙古书面语的减音现象为选题,旨在探讨发现总结蒙古书面语中所呈现的减音现象的规律