BESⅢ分布式计算的元数据管理研究

被引量 : 0次 | 上传用户:power400ljf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
北京谱仪Ⅲ (BESⅢ)高能物理实验产生PB量级的实验数据,海量数据的处理和分析对计算资源和存储资源提出了强大的挑战。为此,中科院高能物理研究所于2011年开始搭建BESⅢ分布式计算环境,以整合异构计算资源,解决现存资源短缺的问题。BESⅢ分布式计算通过元数据检索千万数量级的分布式文件。为了有效管理和使用元数据,实现对所需文件存储地址的定位,本文对元数据管理进行了研究。主要研究内容如下:(1)根据BESⅢ实验和用户需求,综合考虑分布式计算的整体结构和系统性能等因素,得出系统的基本功能需求。根据功能需求,对文件的元数据模型及系统的整体架构进行设计,并基于中间件软件,采用树型目录结构、动态构建物理文件名和虚拟数据集等技术实现了系统的各功能模块。该系统已被应用于实验数据分析和处理,测试结果表明其性能能够满足实验需求。(2)针对用户对文件的访问具有区域集中性的特点,提出了一种基于MySQL的内存存储引擎提高元数据查询性能的方案。该方案将拥有较高访问量的热点元数据冗余地存储在内存表中。然后根据查询条件和内存表数据的有效性,使热点元数据的查询在内存表中进行,以减少磁盘读写时间。实验结果表明,该方案能在一定程度上提升元数据查询的性能。(3)提出了一种双元数据库高可用性设计方案,以解决元数据库单点故障,提升元数据库的可用性。该方案利用MySQL的复制功能搭建双元数据库主主复制结构,同时采用主主复制管理工具实现元数据库的工作状态监控和故障切换,并利用虚拟IP技术和最少连接优先策略使用户读、写请求分别访问不同元数据库,以达到均衡元数据库间负载的目的。功能测试结果表明该方案的各部分功能良好,可以应用到实际中。
其他文献
为了让观众在有限的时空内能更好地理解和欣赏原声电影,字幕的翻译质量显得尤为重要。德国功能主义的“目的论”为字幕翻译的理论开辟了新视角,在具体的翻译实践研究中,必须要遵
作为跨文化交际中的一个重要组成部分,新闻报道的翻译在全球信息交流中扮演重要角色。新闻导语是新闻中极为重要的一部分,能够为读者提供新闻中最重要的信息,并提示读者下文内容
空间扭转系杆拱桥是一种新型桥梁结构,其造型独特,轻盈美观,近年来在城市桥梁建设中开始得到应用和发展。但由于主拱肋存在一定的扭转角度,使得桥梁结构受力变得复杂,增加了施工难
西周铜鼎、铜簋 我区考古工作者1981年在固原县中河乡孔家庄林场发掘了一座西周早期墓葬及车马坑,出土骨、玉、铜、陶等各类器物20余件,贝195枚,蚌500余枚。铜器中有车辖、
太阳能高倍聚光光伏发电系统(high concentration photovoltaic system,HCPV)将高效聚光光伏电池与聚光器利用组合在一起,具有较高的效率。针对三结聚光InGaP/lnGaAs/Ge叠层
农业旱灾风险评估是风险管理和减灾管理的基础,可为农业生产和防灾减灾提供科学依据。针对研究区域现有的灾情数据资料时间序列短、数量少的特点,建立了基于信息扩散理论的灾
冲突性话语是指发生在双方或者多方之间的一种敌对性的交际行为。它是一种普遍而又复杂的语言现象,在日常人际交流中频频发生。冲突性话语是一个广义的概念,涵盖了诸多言语行为
随着国家知识产权战略的深入实施和专利制度的不断普及发展,专利侵权案件不断增加,专利权人滥用专利权的情况也不断出现。在现行的法律制度中更多地强调对专利权人的保护,却
本文系统梳理了政府执行力的基本理论,总结了我国政府执行力现状,分析了政府执行力不足的原因。围绕工商行政部门的食品安全监管问题,考察食品安全监管执行力现状及其执行不力的
背景心排量(Cardiac Output,CO)是肺高血压生存预后的独立预测因子,并可以指导临床治疗策略。热稀释法(Thermodilution,TD)以及FICK法是目前临床应用最广泛的测量CO的方法。NICOM系