论文部分内容阅读
计算机技术和互联网技术的迅猛发展为人们的生活方式带来了新的变化,互联网社交、电子商务以及互联网金融已经融入了人们的日常生活。与此同时,一些恶意的链接,即恶意URL会将用户导向恶意攻击性的网站,或者将用户与恶意文件连接起来,或者将用户导向钓鱼网站,伺机窃取用户的账户等信息,侵犯用户的个人隐私,带来很大的风险会造成用户的财产等损失。在大数据时代背景下,如何实时高效地检测出这些恶意URL并及时做出报警和禁止访问等防护措施,以减少恶意URL对海量网络用户的威胁和侵害,始终是网络安全领域中需要解决的问题。本文采用在线学习算法训练恶意URL检测模型,充分利用了在线学习算法的模型更新效率高、以及利用有限的计算机资源实现对无界数据处理的特点。使用流式计算框架Flink实现了对消息系统Kafka中网络流数据的URL的实时消费,通过在线学习算法训练得到的检测模型实现了对URL的近实时检测。同时利用检索引擎ElasticSearch实现了对大规模网络流数据的检索分析。本文主要完成了如下工作。1.针对采用离线批量数据训练URL的检测模型耗时长,模型不能及时更新导致URL分类模型时效性不强,以及样本数据量过大无法利用有限的计算机资源实现模型训练的问题,本文采用了在线学习算法对URL分类模型进行了训练,使用在线学习算法可以及时利用样本数据更新模型,且在线学习算法实现了使用有限的计算机资源对数据以数据流的方式进行计算。通过Flume实现了对解析得到的网络流数据的实时收集,并将Flume作为Kafka的URL数据生产端,将Flink端作为URL数据的消费端,实现了网络流数据的近实时收集,通过在线学习算法训练得到的URL分类模型,实现了对URL的近实时分类检测。2.针对亿级数据检索的分析效率问题,本文通过对亿级数据检索方案的对比,采用Logstash实现了对解析得到的所有类别网络流数据的索引的建立和索引向分布式检索引擎ElasticSearch的存储。并基于ElasticSearch搭建了B/S架构的检索系统,可以以恶意URL为检索关键字,实现对检测到的恶意URL相关的DNS、IP等信息完成检索,实现了亿级数据检索的秒级响应,提升了对海量网络流数据的分析效率。