CDN海量日志实时分析问题研究与平台开发

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:BCB
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
CDN全称为Content Delivery Network,中文为内容分发网络,诞生于20世纪90年代,由众多节点服务器和全局智能负载均衡系统组成,用于解决网络拥塞问题,为网络访问提供加速服务,是构建互联网的重要基础设施。CDN节点服务器日志中记录了加速服务请求信息与响应信息。通过对CDN节点服务器日志进行实时分析,挖掘出日志中包含的信息与价值,对CDN加速服务的核心指标进行实时检测与监控,为加速服务质量提升策略提供重要且可靠的数据支持。由于CDN是一个巨大的分布式网络,CDN加速平台平均每秒的数据访问量可达千万级别,每秒生成的日志数据量可达GB级别,每天能够产生大几PB的日志数据。如何设计一套低延迟、高吞吐的CDN海量日志实时分析平台,对海量CDN日志进行实时分析,是当前CDN研究领域亟待解决的问题.。本文分析了CDN海量日志实时分析存在的难点与当前解决方案存在的问题,并针对这些问题,提出了相应的设计方案与架构,最终形成了一套低延迟、高吞吐的CDN日志实时分析平台架构。其中针对海量CDN日志实时接入到日志实时计算引擎这一过程存在的难点与当前解决方案存在的日志接收处理能力扩展性差、日志流量切换效率低等问题,借助当前负载均衡技术、微服务注册与发现技术,设计了日志接收处理能力能够线性扩展、日志流量能够智能切换的日志接收组件ARRIS;针对日志实时计算部分存在的计算引擎与分析结果存储平台耦合、分析结果存在写入尖峰等问题,采用解耦思想,设计了一种计算引擎模块与分析结果录入模块之间的数据交互机制AA,并借助当前主流流式计算框架与消息系统,基于AA数据交互机制设计了具有限流、熔断功能的分析结果专用入库组件Anti-Flood;针对海量分析结果数据实时存取存在的难点与当前采用的MySQL分库分表方案存在的运维成本高昂、吞吐量低、长时间范围查询效率低等问题,根据CDN日志分析结果数据特性及服务用途对其进行分类,并借助当前现有的数据存储技术,设计了高吞吐的实时数据存储平台RTDP。本文最后对本课题设计的日志接入组件ARRIS、分析结果入库组件Anti-Flood与CDN海量日志实时分析全平台进行了功能验证,验证结果表明,日志接入组件ARRIS具备良好的日志实时接收与预处理能力,分析结果入库组件Anti-Flood很好的实现了计算引擎与存储模块间的解耦,且具备良好的入库能力与限流功能,CDN海量日志实时分析平台能够实现CDN海量日志实时分析功能,能够实现CDN加速服务质量的实时跟踪与监控。
其他文献
<正> 现在,方便食品(包括各种速冻的饺子、包子、馒头、汤圆、方便面、方便粉)及营养饮料(牛奶、豆奶、乳酸奶、果汁)受到人们欢迎。人们也愿意把钱花在一些不需要回家清洗,
为了解决目前实际应用中因绿灯间隔时间设置不当而产生的安全隐患问题,通过分析机动车的制动特性以及驾驶员的驾驶行为,结合交叉口的实际情况,分别给出了未安装交通信号倒计
<正> 把教育作为社会现象来研究,搞清它与社会劳动力再生产的关系,是教育科学面临的一个重大课题。只有把教育与社会劳动力再生产的关系搞清楚,才能使我们科学地了解教育在发
在《中国五千年服饰展》大厅里,有一尊唐代妇女的化妆头像特别引人注目,只见其脂粉轻扫,蛾眉深描,眉间、脸边及唇侧画有许多精美的图纹。古代妇女对化妆的重视,几乎到了无以
期刊
为缓解中国能源消耗与经济发展的矛盾,高效调整国家能源结构,开发利用绿色的地热能已是大势所趋. 通过室内测试法和现场热响应试验,研究了不同岩土体的导热系数特征值及其影
在信息爆炸的互联网大数据时代,如果能用简短的文本来表达信息的主要内容,无疑将有利于缓解信息过载的问题。因此利用计算机自动总结出文本的主要内容对于节省人力资源以及缓解信息过载问题有着重要意义。文本摘要的应用场景主要有生成自动报告、生成新闻标题、搜索文本结果预览等。目前,文本摘要可以分为两类:抽取式文本摘要和抽象式文本摘要。抽取式文本摘要直接从原文本中抽取一些句子组成摘要。其实质就是排序算法,通过给每
2012年2月20日,国务院审批同意《全国地面沉降防治规划(2011~2020年)》,要求以长江三角洲地区、华北地区、汾渭盆地为主要目标区,实施地面沉降调查、地面沉降监测、地下水控采
在某一个时间段安排某个班级在某个教室上课有多种选择,但上课班级与教室之间最终应是一个一一对应的关系。用图的匹配可以解决如何在多对多的可能对应中确定一一对应的问题
尊敬的读者:您好!首先,感谢您长期以来对本刊的支持与关注。注重“服务顾客满意度”是本刊的一贯目标,您的意见和建议对我们至关重要,我们诚恳的邀请您参加我们的客户调查并
近年来,计算机体系结构不断发展,多核处理器的种类和数量逐渐增加,各类处理器的结构逐渐复杂,如何高效的发挥多核处理器的并行性能一直是计算机领域的热点研究方向。多核处理