随着计算机和互联网技术的迅猛发展，加之物联网、移动互联网的快速兴起，人们的生活已经被数据所包围。在腾讯、阿里这样的互联网巨头公司中，手机QQ、淘宝商城这样的业务，其监控服务日志数据，每天都会达到50TB左右。如何对这些监控数据进行有效的过滤和实时分析，并完成对业务的实时监控，是一项巨大的挑战。现有的监控系统大多只提供硬件指标的检测，在业务层的监控系统也随着业务量的提高，面临着大数据的挑战。　　本文针对上述问题，在大数据流式计算框架Storm和分布式消息队列Kafka的基础上，设计了一套用于大数据业务层的通用实时监控解决方案。用户只需要根据自身的服务，配置上报的字段属性和监控的规则，即可实现对服务的实时监控和告警检测。本文的主要工作及创新点如下：　　（1）针对现有系统监控配置繁琐，不能可视化的问题，提供统一的Web服务，使得监控的基本信息、输入字段、处理逻辑、拓扑预览等操作均可进行可视化的操作，将各模块进行可插拔的设计和实现，然后根据页面的配置信息自动生成监控逻辑的代码，大大降低了监控管理配置的复杂度，解决现有的监控系统，在告警配置上的繁琐、不透明的问题。　　（2）针对现有监控系统误告率较高的问题，提出了一套监控指标告警检测方案，有效的降低了系统的误告率。方案对历史数据进行数字特征的计算，并根据假设检验和聚类得出的结果进行监控采样点的波动率分析，利用三次指数平滑法和BP神经网络法，对历史数据进行分析、建模和预测。结合离线计算和实时计算，对监控的采样数据进行告警检测，从而将系统的误告率从10％降低到1%左右。　　（3）针对现有系统在大数据环境下传输效率低，处理延迟高的问题，将系统分为用户接口层、数据接入/缓存层、实时计算层、离线计算层、数据持久化层进行设计。在数据接入层和实时计算层中，将Storm和Kafka进行整合，并进行二次开发，充分利用Storm低延迟和高并发的特性，并利用ProtocolBuffer对消息进行序列化的编码压缩，从而提高系统的传输和处理效率，解决现有的监控系统无法满足在大数据环境下的实时性要求、多维度问题。　　本文最后对所设计和实现的系统进行了功能测试和性能测试。对系统运行结果图和各种性能指标统计图的分析表明，系统完全满足预定的设计目标，并已应用于腾讯公司QQ产品族的部分业务的监控环境中。