面向云服务的日志处理系统关键技术研发

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:huajinxiu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前软件系统朝着云原生、微服务的方向发展,这使得云服务模块众多、模块之间交互复杂,云服务的可靠性保障变得十分困难。一般来说,系统可靠性保障主要依赖系统运行时日志。这些日志数据分散在不同的机器上,记录了系统运行过程中的状态,是开发和运维人员调试系统和故障诊断的重要数据来源,因此日志数据需要被合理地收集和处理。在这样的背景下,日志系统应运而生。目前的日志系统一般由日志采集、日志处理、日志存储和日志查询模块组成,这些模块配合可以有效地采集和存储日志,解决了系统运行时日志的集中化存储问题。尽管如此,当前日志系统依然面临很多问题,人工处理的方式导致日志分析是低效的、容易出错的,难以应对当下云服务系统的日益复杂和日益大规模化。日志数据本身不会产生价值,对数据的处理和分析才会产生价值。因此如何在现有的日志系统架构上,提高日志数据处理的自动化程度和智能化程度,是云服务系统可靠性保障的重要环节,也是目前日志系统架构可以重点改进和优化的地方,这是本文工作的出发点和主要创新点。本文提出的面向云服务的日志处理系统聚焦在传统日志系统架构中的日志数据处理环节,主要工作分为两部分:(1)研究实时日志解析和实时异常检测关键技术;(2)在研究基础上,设计并实现日志系统。日志解析的困难在于日志格式不规范,难以用统一规则描述。本文提出的Fog方法通过构造解析树来匹配日志,用户只需要定义少量规则就可以匹配大部分格式。异常检测的困难在于日志数据多源、不规范,先前的方法集中于执行路径异常检测,且主要是离线算法,本文提出的Intelli Log利用深度学习技术进行异常检测,不仅涵盖执行路径异常,还考虑到系统状态值异常,且是在线算法。设计日志系统的困难在于数据量大、实时性要求高,本文将日志系统划分为离线日志处理和实时日志处理两个子系统,通过流计算等技术能够很好地处理大数据量并做到实时计算。通过对云联络中心的日志数据进行分析和处理,本文得到如下结果。首先,本文提出的日志解析方法Fog能够应对自由格式的日志,性能上单线程下即达到了10000条/秒的处理速度,此外还支持并行加速。其次,Intelli Log异常检测模型与先前方法相比效果良好,性能上在CPU下每秒能处理12000条数据以上,文中还给出了异常的案例分析。最后,本文设计与实现的日志系统实际日志解析和异常检测的时延在1.5~5秒之间,文中还给出了本系统在云联络中心线上的实际体验。这些结果表明,本文提出的系统能够满足云服务的日志处理需求,具备新颖性和实际价值。
其他文献
随着经济的飞速发展,环境公益诉讼制度逐渐成为我国大陆地区解决环境问题的一种重要方式,它有别于传统因个人利益受损而提起的诉讼,是人民用来维护环境公益的一种诉讼制度。我国大陆地区所称的“环境公益诉讼”与台湾地区所称的“公民诉讼”,虽然叫法不同,但都是对需要救济的环境公益问题的总称;不同的是我国台湾地区环境公民诉讼并没有像大陆地区区分环境民事公益诉讼和环境行政公益诉讼,而台湾地区的环境公民诉讼相当于大陆
磁流变弹性体(MREs)是一种固体基体包裹微米级磁性颗粒的复合材料。聚合物基体的性能和磁性颗粒种类是影响ME性能的重要因素。动态聚合物(Dynamic Polymer,Dynamer)是近年来迅速发展的研究领域。在高分子链段中引入动态键,使材料具有环境响应性、粘弹性、自修复性等动态特性。由动态键衍生的动态聚合物在智能材料、液晶、生物活性材料、光电材料等各个领域引起了广泛的关注。亚胺键是含羰基化合物
高中数学知识具有复杂抽象、逻辑性强、知识量大等特点,学习难度较高,如何提升高中生数学成绩,已经成为高中数学教师、家长以及学生共同关注的热点话题。自主学习是一种非常有效的教学方式,重点强调学生的自主性主动学习,在自主学习过程中去发现问题和探索问题的解决方法,培养为自己学习负责,自己制定符合自身实际情况的学习目标和方法,经过不断自我检查和自我调节,逐渐达到自身预定的目标。自主学习能力的培养,能够让学生
近些年来我国大学生的身体素质和体质健康问题逐步受到社会群体的关注,已成为了社会热点话题之一。我国大学生身为我国社会主义建设、伟大的中国梦所实现的主要力量,肩负着重要的任务与使命。本文的研究是从高校大学生体育课中的身体素质与体能练习的角度来针对大学生的身体素质练习方法进行研究,研究与探索Cross Fit练习对高校大学生身体素质与参与体育兴趣度的影响。本篇文章通过采用文献资料法、访谈法、问卷调查法、
随着高分辨率卫星遥感技术的发展,浅海水深探测技术不断完善和多样化。卫星立体双介质摄影测量是光学遥感的重要组成部分,实现了在无控制点的情况下进行水深测量。本文对卫星立体双介质遥感影像测深展开了系统研究,主要工作内容和创新点如下:1)详细介绍了线阵影像构像模型,根据折射定律以及站点、目标点、像点等的几何关系将单一介质构像模型转化成双介质构像模型。详细推导了基于有理函数模型进行三维重建的公式及解算过程。
严复的“信、达、雅”向来被认为是衡量翻译好坏的金科玉律,通常情况下人们也都认为误译就是“不信”的翻译。新闻本身所具有客观性与公平性也要求在新闻翻译中也能体现出忠
近年来提出的压缩感知技术仅仅需要少量的测量值便能够在欠采样的条件下通过某些算法重构出原始信号。压缩感知中信号重构算法的设计是重要环节,本文主要探讨当前热门的信号重构算法,分析目前很多重构算法出现的不足进行改进并提出了新的信号重构算法,将其应用于MRI图像领域。论文首先针对当前热门的CS MRI(压缩感知核磁图像处理)进行了相应的研究。根据不同的算法构成了解其不足并提出改进方案。针对于匹配追踪算法对
材料的发展伴随人类社会的进步,先进材料的发展是材料科学领域永恒的发展主题。电荷转移(CT)相互作用作为一种重要的超分子相互作用,具有可控性好、耐溶剂性能好等优点,能赋予材料许多优异的物理机械性能,在杂化高分子材料领域扮演着越来越重要的角色。本文基于电荷转移相互作用独特的光学性质和可逆调控性,提出了一种新型功能高分子复合材料的制备及光学调控方法。涉及到的材料包括有机-无机材料的复合、有机-有机材料的
自IEC(International Electrotechnical Commission,国际电工委员会)于1999年推出TCN(Train Communication Network,列车通信网络)标准,即《IEC 61375-1》,经过近二十的发展,TCN标准早已成熟地应用于列车通信网络中。依托于其实时性和可靠性的特性,TCN标准得到了各大列车网络通信设备厂商的青睐和众多铁路运营公司的支持
结合图像和光谱信息采集技术的成像光谱仪,一经问世就受到了高度重视,在天文学、遥感探测、生物医学成像、资源勘探等领域发挥着越来越重要的作用。随着材料技术、探测器技术与计算机技术的飞速发展,成像光谱仪取得了前所未有的进步。但是受限于当前探测器单元的二维阵列排布,成像光谱仪采集光谱立方体面临空间信息与光谱信息、光谱分辨率与光谱工作范围以及光谱立方体精度与采集速率的矛盾难以解决。液晶可调谐滤光片(liqu