面向大数据基准测试的数据生成器的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fenghui111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据技术的不断发展,大数据测试基准对于测试数据集的复杂度和数据量提出了越来越高的要求。现有的数据生成器对生成的数据类型和数据量有限制,对功能可扩展性、数据集可配置性和并行数据生成等方面支撑能力不足,因此设计实现一个灵活的面向大数据测试基准的数据生成器是有重要意义的。通过分析大数据测试基准对测试数据集要求和已有数据生成器实现的功能和性能特点,得到了面向大数据基准测试的数据生成器的设计要求。根据这些要求给出了数据生成器的方案,包括系统架构、基于计算引用数据生成方式的并行数据生成方法、配置文件和字典文件等的设计方案。系统架构可划分为展示层和数据生成层,展示层可以帮助用户可视化编写配置文件、控制数据生成过程以及对数据生成过程监控,数据生成层由控制器、调度器、数据构造模块和输出模块组成,可进行实际的数据生成工作。控制器用于初始化系统、接收和处理用户输入的命令和配置文件的解析和封装。调度器为每个工作线程分配任务,默认分配策略为把任务量按照工作线程数平均分配。数据构造模块由工作单元、随机数生成器和字段生成器组成,每个工作单元会借助字段生成器把随机数生成器产生的伪随机数序列转换为实际的数据值。通过加载新的字段生成器可以完成对数据生成器功能的扩充。输出模块可以控制数据的输出位置和输出格式以满足不同测试基准的要求。通过与Data Faker数据生成器生成速度的对比测试,验证了本数据生成器在生成大量数据时的性能优势。同时,本数据生成器还能满足伸缩性要求,即能随着工作线程数增加,数据生成速率相应增加。
其他文献
目的:观察NLRP3抑制剂MCC950干预对哮喘小鼠Th17/Treg及气道炎症的影响,探讨NLRP3炎症小体介导Th17/Treg失衡在哮喘气道炎症中的作用及其机制。方法:将40只6至8周龄无特定病原体(SPF)BALB/c雌性小鼠随机分为正常对照组(NS组)、哮喘模型组(AS组)、MCC950低剂量干预组(ML组)、MCC950高剂量干预组(MH组)及地塞米松组(Dex组),每组8只。AS组在
目的:基于超高效液相色谱-质谱联用(UPLC-MS)、网络药理学及实验验证探讨罗欧咳祖帕干预哮喘气道重塑的作用研究。方法:基于UPLC-MS指认罗欧咳祖帕中化学成分信息;借助中药系统药理学数据库和分析平台(TCMSP)的口服利用度(OB)和类药性(DL)、SwissADEM的Lipinski 五规则及查阅文献筛选罗欧咳祖帕潜在有效成分;通过Swiss Target Prediction数据库筛选罗
<正>案例收区的音乐响起来了,孩子们听到之后,开始收整着自己所在区域的玩具和材料,有条不紊地进行盥洗和喝水等生活环节的活动,一如既往地欣赏着同伴的作品、观察着植物角的花朵,和小伙伴们小声地交流着今日的新发现、新收获或者新问题。最后一首歌曲响起来,孩子们已经坐到椅子上等待着集中活动区的分享环节。美工区出现了意料之外的状况,
期刊
<正>不驻会委员工作室以不驻会委员牵头,依托不驻会委员所在单位、组织等广泛汲取群众意见,为政府决策提供参考,形成了了解民意、集中民智、推进民主的完整链条,是发展全过程人民民主的新途径。首先,工作室增强了委员履职的自觉性,对于提高人大常委会的工作质量和效率具有重要意义。其次,工作室吸纳不驻会委员所在领域、单位的专家学者共同参与调研,具有较强的科学性、针对性和应用性。再次,
期刊
作为构建中国民主话语体系的一次成功实践,全过程人民民主的话语在话语陈述、话语塑形、话语表达中生成。全过程人民民主的话语创新体现在制度、价值和效能多重向度。从其精神实质上讲,全过程人民民主话语源于中国传统政治话语的文化基因,是马克思主义民主话语中国化时代化的重大成果,延续了中国共产党践行初心使命的话语特质,展现了中国共产党构建民主话语新秩序的历史担当。
<正>辽源市人大常委会坚持把深化全过程人民民主实践作为落实中央人大工作会议精神的一条重要主线,拓展人民有序政治参与的路径和形式,集中群众智慧推动经济社会发展,努力使人大工作各方面各环节全过程都彰显民主、反映民意、顺应民心。一、坚持开门立法、为民立法,扎实推进立法协商建立为民立法工作机制。完善人大立法机构工作规则,明确工作职责和流程,健全立法起草、论证、协调、审议等工作机制,
期刊
中国共产党领导的多党合作和政治协商制度既是我国的政党制度,更是我国基本民主制度之一,在全过程人民民主中起着至关重要的作用。多党合作在全过程人民民主中的作用主要体现在如下几个方面:首先,多党合作是实现全过程人民民主的基本制度保障;其次,多党合作是实现全过程人民民主的桥梁;最后,多党合作是实现全过程人民民主的实践路径。
发展全过程人民民主既是习近平新时代中国特色社会主义思想的重要内容,也是新时代民主政治建设的题中之义。人民代表大会制度是实现全过程人民民主的重要制度载体。结合乐山的实际,应选好人大代表,筑牢全过程人民民主基石;用好代表之家,搭建全过程人民民主平台;办好民生实事,做实全过程人民民主实践。
<正>立法是人民意志的体现。在地方立法过程中,必须坚持民主,注意把全过程人民民主理念贯穿于法规计划、立项、起草、审查、审议、通过、实施及监督等立法程序的全过程,使党的意志与人民意愿相统一,推动人民更好地当家作主,实现对地方政治、经济、社会的全面管理,从而更好地维护自身权益。广西各级人大在立法工作中,要坚持全过程人民民主理念,以健全“八大制度”为抓手,努力打造有广西特色、让人民满意的地方性法规体系,
期刊
<正>本文介绍了一种咖啡调制灌装机PLC控制系统,以德国西门子200smartPLC为核心控制器,结合移动支付模块、步进电机、减速电机、电磁水阀、继电器、接近开关、光电开关、编码器和浮球开关等电气元件组成控制系统,完成元件选型和电路设计,并绘制相应的电气接线图和编程顺序功能图。该设计可实现移动支付、自动调制、温度控制、水量控制、水温调节以及粉末控量等功能。
期刊