随着信息技术和互联网技术在证券金融行业的广泛应用,越来越多的证券业务通过互联网来完成。伴随证券行业信息化程度的不断深入,证券交易系统中的日志数据呈现爆炸式增长趋势。这些日志中不仅包含系统的运行状态信息,并且包含海量的客户行为信息。在传统的方式中,日志的处理是基于单点服务器,效率低、扩展性和存储都受到很大的限制,更难以支持基于日志的分析处理。同时,证券监管机构对证券公司开展网上证券交易业务的相关要求,证券交易系统的日志必须长期保存,用于配合监管机构查阅客户相关的交易行为和系统故障的事后排查。在此背景下,开发日志采集分析平台,实现对证券交易系统日志数据进行统一实时收集、集中存储以及查询分析,对提升监管质量和提高业务分析能力都有重要意义。主要工作如下:(1)分析证券交易系统日志采集分析平台功能需求。设计了证券交易系统日志采集分析平台的总体架构。主要包含五个模块:日志采集模块、数据缓存模块、数据处理模块、数据存储索引模块和结构可视化模块。(2)针对总体架构中各模块的功能,结合实际的日志结构设计了各个模块的基础架构及业务流程,基于ELK Stack和Kafka消息队列实现证券交易系统日志采集分析平台。支持日志统一采集、数据缓存、数据处理、数据存储与索引、数据分析及结果的可视化。(3)搭建并部署了日志分析平台的测试环境,对系统各模块进行功能与性能测试。实际运用结果表明,该平台运行性能稳定,能有效而快速的完成证券交易系统日志的采集、可靠的数据传输以及大量证券交易日志的集中统一存储,并且实现日志检索告警和分析等功能,满足了实际的功能需求。