论文部分内容阅读
大数据时代面临如何收集存储和利用海量数据的挑战,从而构成了相应的生产者-消费者业务模型。在这个业务模型的生产者与消费者之间,需要数据分发系统,将生产者的数据分发到消费者。然而,现有数据分发框架较为笨重,开发者学习成本高,可靠性保证不足。本文将数据的生产者和数据的消费者解耦,充分利用Actor模型的异步特性提高系统的处理性能,提出了基于Actor模型的数据分发系统的设计和实现方法。基于Actor模型的数据分发系统,可灵活提供HTTP和Remote Actor两种数据接入方式,以及数据的持久化功能。此外,该系统通过将数据分段分块存储并对数据添加稀疏索引的方式,使系统读写数据的过程达到线性复杂度。本文从数据分发系统的功能以及性能需求出发,制定了系统总体的设计方案,按照MVC (Model、View、Controller,模型、视图、控制器)层次架构划分系统。接着,把系统复杂的逻辑操作层根据功能划分为安全保证子系统、业务管理子系统以及数据管理保证子系统等,且每个子系统功能独立。其中,安全保证子系统负责数据分发系统的访问安全和数据安全模块;业务管理子系统负责处理系统全部的业务逻辑,包括Web服务模块、HTTP服务模块、连接管理模块、心跳模块以及数据分发控制模块;数据管理子系统负责数据源产生的资源数据、系统运行的中间统计数据以及系统配置的数据三种数据的操作逻辑。本文对数据分发系统的各个功能点进行了测试,验证系统的实现满足了预定的设计目标。本文最后对基于Actor模型的数据分发系统进行了归纳总结,提出了一些系统需要解决或优化的问题,对未来工作进行了展望。