日志是系统用于记录硬件、软件与运行状态的记录数据,可用于获取系统运行状态或检查系统问题,其重要性不可忽视。在云计算平台中,系统模块逐渐增多,服务种类愈加复杂,业务间调用关系也十分复杂,由此产生的日志规模也十分巨大。传统日志分析方法是通过逐行分析日志信息来定位系统故障或代码问题,而随着日志数据的结构多样化和存储分散化,研发与维护人员在系统出现故障进行排查时,传统的日志分析方式无法满足故障检测的高效性和深入性要求,研发人员很难从海量复杂的日志中获取真正有价值的信息或快速确定故障位置。本文为了解决这一难题,提出并设计实现了一个具有快速收集日志和日志分析功能的故障检测系统。本文的主要内容包括:(1)以企业需求和研究现状为基础,结合传统故障检测的不足,得出了本系统需采用分布式架构设计,包含分布式的日志收集、消息的订阅发布、实时日志分析、分布式存储和可视化功能。(2)采用负载均衡的Flume实现了日志收集,将不同节点的日志收集并传入到Kafka中。(3)采用Kafka实现日志缓存与转发,通过配置副本的负载均衡提高了数据消费的可靠性和高效性。(4)采用Storm框架实现日志分析和故障检测的业务流程,采用关联规则算法实现故障检测,保证了系统数据处理的实时性。(5)采用Elasticsearch作为数据的存储服务器、搜索引擎,完成统计分析和存储数据功能。(6)基于MVC架构搭建可视化交互平台,完成前后端解耦与可视化功能。对系统的性能和功能进行检测后,显示本系统运行稳定,实现了快速收集日志、可靠传输、日志分析和存储日志的功能。对实现故障检测的算法进行实验后,从精确度与可信度等指标进行了分析评价。文章最后提出了本系统的不足和未来工作的发展方向。