面向快速交易系统的低延迟和容错复制技术框架的研究与实现

被引量 : 0次 | 上传用户:husong724
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的快速发展对交易系统的要求越来越高,低延迟和高可用性已经成为衡量一个交易系统的重要指标。交易系统不仅需要满足数据的一致性和完整性,而且还要考虑交易延迟对用户体验的重要影响。同时,交易系统对数据的实时分析也是IT厂商关注的重点问题。如何对海量的结构化数据和非结构化数据做实时分析,如何保证交易数据的稳定性,是大数据时代的共同挑战。本文先介绍交易系统延迟相关的各个技术:网络技术、联机事务处理系统和联机分析处理系统。网络技术中重点对比了万兆以太网和Infiniband,万兆以太网是应用于高层网络通信(比如TCP/IP)的技术,传输距离很远,而InfiniBand传输距离很近,是用于底层输入/输出通信的技术,可用来提高服务器端输入/输出的性能。交易系统是典型的联机事务处理系统,联机事务处理系统也称为实时系统,因为它的重要特点就是快速响应客户请求,即实时性高。响应时间就是衡量一个联机事务处理系统的重要指标。交易产生的数据处理,是基于一个分布式系统上的数据管理技术,也称为联系分析处理技术,在云计算和大数据快速发展的今天,Hadoop成为主流的框架平台。而Google在2010年发布新的信息查询技术Dremel,可以实现3秒内查询1PB数据。针对实时交易系统和实时数据处理系统,本文设计了整体的系统框架,并针对各个模块进行了详细的介绍。在实时交易系统中,重点解决系统的低延迟和容错能力,提出了基于Paxos算法的内存复制解决方案。在实时数据处理系统中,运用Hadoop架构技术进行部署,Hadoop是一个在大型集群设备上部署分布式系统的应用框架,由HDFS和MapReduce两部分组成;同时介绍了最新的数据处理技术Dremel,可对存储在HDFS内和MapReduce产生的结果集进行处理。系统整体部署中用到的核心技术有Paxos算法,Hadoop架构技术和Dremel数据处理技术。由于Hadoop架构技术比较成熟,只对其做了简单的阐述,Dremel数据处理技术中,详细地介绍了它的工作原理和优势。重点介绍核心的Paxos算法。目前联机事务处理系统均采用主备机日志复制的方式来保证系统的高可用性,其中的重点就是复制技术,而复制技术的关键是如何解决数据的一致性问题。Paxos算法正是解决这个问题的关键。本文对Paxos算法的基本概念和三个阶段进行了详细的介绍,并使用驻留内存和异步持久化的方式,降低了系统延迟。并对基于Paxos算法的交易系统进行原型设计,阐述了详细的框架设计,并通过实验数据对可行性进行了分析。
其他文献
在幅员辽阔、人口众多的中国,汉字起着重要的文化认同作用。汉字的适用性、时空包容性和文化积聚性使其历经千百年发展和技术冲击而不废,具有极其强大的生命力。如今,汉字已
目的:比较水浸提法、醇浸提法、酶解法在制备速溶普洱茶过程中各工艺条件对速溶普洱茶中茶可溶性糖、茶多酚、游离氨基酸含量的影响。方法:采用蒽酮法、酒石酸亚铁法及茚三酮
针对智能机器人在非特定人语音识别中识别率偏低的问题,提出了一种双门限的端点检测算法,精确地检测出了语音端点,对分形维数和Mel频率倒谱系数(MFCC)进行结合,同时基于隐马尔可夫(H
目的观察硝黄汤鼻饲联合灌肠对重症慢性阻塞性肺疾病(COPD)患者肠屏障功能障碍的影响。方法将80例COPD肠屏障功能障碍患者随机分为2组。对照组40例予常规治疗,治疗组40例在第
居住区绿化建设是改善居住环境的重要方面,随着城市化进程的加快和城市人口剧增,城市建筑越来越密集,人们的居住环境质量也在不断下降。搞好居住区绿化建设,创造优美、清新、
近年来,光学技术得到了巨大的发展,曲面光学零件作为其核心元件在航空航天领域、军事侦察领域以及很多民用产品领域得到越来越广泛的应用,这对曲面光学零件的面形精度和表面
<正>随着我园课题《幼儿自主阅读的支持性指导策略研究》的深入开展,如何提高绘本教学的有效性,用优秀的绘本读物引导幼儿快乐地阅读显得尤为重要。为了调动幼儿在阅读过程中
期刊
本课题来源于企业生产中遇到的实际问题。针对废旧铝合金杂质元素较多,重熔后力学性能差等问题,本课题通过采用微合金化的方法,在Al-Si-Cu合金废料重熔过程中分别加入不同含
为了探讨大学生情绪调节自我效能感与家庭教养方式之间的关系,采用中文版情绪调节自我效能感量表和家庭教养方式评价量表对260名大学生进行测查。结果显示大学生情绪调节自我
在多目标来袭的战场环境中,能够有效的评估出包括隐身目标在内的所有目标的威胁等级,是战场指挥决策系统中的核心部分。目前问题的难点在于雷达探测到隐身目标以后,如何将其