传统的批处理系统和流处理系统主要针对大规模数据实时处理的需求,系统的开发和部署复杂,数据处理应用的重构和使用困难。随着应用性能管理的发展,迫切需要一种轻量级的,具备良好重构能力的流处理引擎,以应对应用性能管理所需的多源结构化日志数据的流式处理需求。论文针对应用性能管理的数据处理需求,分析了现有流处理系统在集群节点动态管理、消息持久化、消息恢复、任务并发执行等方面存在的问题,提出了一种动态自适应的流式数据处理方法。该方法通过引入基于ZeroMQ的集群对等节点广播策略和基于Redis的AOF持久化特性的时间窗口算法,解决了 Kafka这类传统流式数据处理引擎,在应对应用性能管理数据分析系统时容易出现的集群节点同步不及时、消息恢复慢、集群配置过于复杂的问题,提高了节点数据处理的可靠性和集群管理的高效性。论文首先分析了应用性能管理系统的集群节点管理需求和节点故障恢复需求,设计了一个包含分布式处理引擎、流处理节点代理的动态自适应流式数据处理引擎。分布式处理引擎通过封装ZeroMQ集群内对等节点广播来实现集群节点的动态发现和管理,及节点间的数据消息传递。流处理节点代理则通过“生产者-消费者”模式封装数据的获取和分发,从而解耦流数据处理节点,完成数据处理的动态管理。流处理节点内则通过时间窗口算法,处理节点在故障恢复过程中的数据自适应加载,完成数据处理的自适应管理。其后,论文对动态自适应流处理引擎的核心功能、开发者接口、数据结构、数据流程等进行了设计与实现,向开发者提供了一个完整的轻量级数据传输与处理服务。论文最后通过一个典型应用性能管理应用对该引擎进行了功能和性能测试,验证了系统的有效性,并对轻量级流式数据处理引擎进行了总结和展望。