随着移动设备的不断普及,海量的移动通信数据被采集。这些数据中包含了大量的时间、空间等信息,利用这些信息可以对公安部门的重大决策起到参考作用。然而现有的系统面对日益增多的移动通信数据已经不能满足其正常的业务需求,首先系统的时效性弱,无法在规定的时间内完成指标计算;其次系统采用硬编码方式,扩展性较差。因此,本文以移动通信为背景提出了一个通用的流式数据处理系统的解决方案。首先,在充分研究了业务实时处理技术的发展以及运营商本身实时数据源的特点之后,确定以Kafka作为数据缓存中间件;其次根据业务需求,将数据处理部分拆分为实时ETL模块和规则引擎模块,分别用于数据的转换和匹配工作;最后为了提供秒级的数据结果流查询能力,采用了HBASE组件作为结果库。本文的主要工作是完成了对实时ETL模块和规则引擎模块的设计与实现,并且以人流量实时统计为应用案例对系统进行了测试。首先,本文通过对传统数据仓库ETL技术的研究,在分布式流式处理引擎Storm上构建一套类SQL解析引擎用于流式数据的ETL,用户只需要在实时ETL模块中提交类SQL语句就可以完成数据的预处理以及统计等操作;其次,本文设计并实现了一个规则引擎用于数据的匹配工作,用户只需要定义规则以及算子就可以得到所需的数据,这种设计使得规则与具体实现分离,很大程度上增加代码的复用性以及业务的灵活性;最后,本文通过设计类SQL语句、规则以及算子在该系统上了完成了人流量实时统计的应用,并且基于此应用完成了对整个系统的测试。