海量网络流量日志分析系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:d452490001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着分布式技术和网络技术的飞速发展,服务系统中每天都产生着大量的数据日志,随着数据量的与日俱增,基于海量数据的数据分析方法应运而生。在传统的CDN系统中,地域分布广、网络延迟高的特点下,传统的数据分析方法无法满足现有的需求。在这种巨大的转变之下,产生了分布式节点架构下的海量网络流量日志分析系统。本文综合分析了传统日志分析系统在CDN系统下的局限性,从而设计实现在分布式架构下的海量网络流量日志分析系统,这在一定的程度上解决了数据量剧增网络状况差的问题,因此,本文的研究更加具有实用意义。海量网络流量日志分析系统的设计与实现,日志源来自360直播云CDN日志。系统分为两个部分。实时统计分析部分:实时统计分析部分又下设五个模块,分别是日志文件监控模块、业务分析模块、数据发送模块、中心汇聚模块与持久化存储模块。日志文件监控模块负责监控单台服务器的日志文件,将日志文件中产生的内容同步给业务分析模块。业务分析模块负责具体的统计和分析工作,单个节点服务器的分析结果通过数据发送模块发送到中心汇总服务器,由中心汇聚模块进行汇聚,然后有持久化存储模块进行可持续化存储,将结果存储到中心服务器的数据库中,等待前端界面展示的时候调用。离线拆分合并部分:离线拆分合并部分又包括以下四个模块,分别是日志读取模块、切割分块模块、日志同步模块与中心汇总排序模块。日志读取模块将日志文件成块的读入内存,并拆分成行然后交给切割分块模块;切割分块模块将日志文件按照频道分类切割到不同文件中,并为每一个文件建立相应的索引文件;日志同步模块将生成完整的分块文件和索引文件定时同步到中心汇聚日志服务器;中心汇总排序模块将同步上来的日志文件与索引文件进行合并排序,并按照频道归档打包压缩,存放在服务器硬盘中等待用户下载。本文主要是通过以上的技术和原理将系统进行设计和实现,系统各模块都是单独编码和编译,复用率高,耦合性低。经过长时间的大量测试,对整个系统进行了功能性和性能性测试,并对测试结果进行分析,得出本系统具有较高的实用性和可行性特点。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
为实时产生宽间隔跳频序列,提出了一种基于Tent映射的双向耦合映象格子的宽间隔跳频序列产生方法。该方法采用了多比特量化与比特抽取相结合的量化方法以及用于宽间隔处理的改进的平移替代法。将该方法由浮点运算转换为定点运算后在可编程逻辑门陈列(field programmable gate array,FPGA)上实现,所实现的宽间隔跳频序列产生器具有结构简单、运算复杂度低、资源占用少且易于控制等优点。性
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
我国已有的房地产信托业务主要集中在商品住房领域,随着“新国八条”为代表的新一轮针对商住房的调控政策的实施,保障房数量可能将超过商住房,我国地产行业的信托情况将发生改变
目的:观察猪甲生肌膏治疗蛇伤性溃疡的临床疗效。方法:将125例蛇伤性溃疡患者随机分为2组,治疗组63例溃疡面外敷猪甲生肌膏治疗;对照组62例溃疡面用0.2%雷佛奴尔溶液湿敷治疗,
十八届中央第十二轮巡视指出了大学在政治纪律方面的诸多问题,对此的针对性研究还十分有限。编制大学政治纪律建设调查问卷,为了解和分析现状提供了研究线索。研究结果显示:我
目的研究分析综合护理干预对预防重症监护室呼吸机相关性肺炎发生的临床效果。方法选取我院收治重症监护室机械通气患者86例,分对照组和观察组,各43例。对照组与观察组分别给予
我国的电子商务应用,经历了从1996年以来的发展,已经具备了发展的良好条件和基础,大力发展电子商务已成为推进国民经济信息化的重要内容。据统计到2003年,中国已成为亚太地区最大