论文部分内容阅读
互联网技术的发展极大推动了人们与网络互动的频率,从而导致网络交互中的数据量成倍增长,大数据量的产生同时也造成信息过载这一严峻问题。诸多工具被开发用于协助检索、搜索和过滤来解决信息过载问题,但这些工具更倾向于提供过多无价值的信息,推荐系统的诞生就是为了克服这一局限性。推荐系统在众多资源中筛选中用户可能感兴趣的物品或信息,但也存在局限性,现有的某个推荐系统一般只包含一类的推荐算法,在特定的条件下发挥很好的作用,但并不适用其他条件。本文提出一种设计方案,实现一个推荐系统仿真平台,能够模拟自由插拔各类型算法,实现多种算法共存机制,并提供各类算法对应的各类数据集,最后能够对运用环境具有自适应性,自动检测并选择合适的算法。本文着眼于推荐系统综合仿真平台的执行引擎对多种算法的适配,以及其可扩展性进行设计分析并实现。首先对推荐系统的发展现状进行了总结,并对构建推荐系统仿真平台的相关技术进行研究与分析,研究了并行计算、集群管理以及当前比较流行的分布式框架。然后针对该仿真平台的实际需求,重点针对执行引擎进行了详细需求分析;根据整体需求设计出整体架构,分解出算法执行体容器和执行体配置工具,分别对其关键功能进行详细设计,最后实现这一多种推荐算法共存且可自由插拔的推荐仿真平台。本文提出的推荐系统综合仿真平台的先进性在于以下几个方面:(1)该仿真平台的执行容器是基于分布式框架Fourinone进行搭建,充分利用Fourinone已有框架,并根据该仿真平台的实际需求添加相应功能,具有个性化的功能设计;采用分布式并行计算处理,在执行计算处理效率上比起单机运行有显著提升。(2)该仿真平台执行引擎的算法库默认存储多个类型的算法,并且算法可根据用户需要进行自由插拔,实现多种推荐算法共存机制,并提供不同算法对应的数据集供调用,并能对算法执行质量进行评估。(3)该仿真平台对执行任务服务器采用集群管理机制和多种监控机制,集群管理中采用心跳监控机制对集群中其他服务器进行跟踪监控,分配任务服务器对执行任务服务器进行执行进度监控,并向用户反馈执行进度情况。