基于协同过滤的大数据挖掘分析方法研究

被引量 : 0次 | 上传用户:fyps
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,数据规模越来越大。海量数据具有异质异构、数据容量大、价值密度低等特点,因此用户很难从中获取到满足需求的个性化信息。协同过滤就是为了解决这一问题而提出的,本文对协同过滤技术和云计算技术进行深入研究,提出了一个云计算环境下基于协同过滤算法的数据挖掘与分析框架,并着重对以下两个方面展开研究:首先,由于海量数据的异构性使得不同数据源之间的数据交换与共享很难实现。为此需要建立一个统一的数据表示模型,实现异构数据的一致性访问。本文提出了一个基于协同过滤算法的分布式数据挖掘与分析框架,针对该框架,提出基于XML的异构数据集成方法,实现各数据源之间相互转换与集成。接着,本文提出了与时间相关的RMF_time模型协同过滤算法,该算法将用户时间因子与项目时间因子考虑到基本矩阵分解模型之中,实验结果表明此模型可以较好为用户提高推荐的准确度。云计算具有强大的计算能力、存储能力以及可扩展性的特点,结合对大规模数据处理的现实需求,本文提出了运行在云环境下的DRMF并行协同过滤算法,该算法利用矩阵的分块思想,结合分层的随机梯度下降法进行矩阵分解,使得在数据层内实现矩阵分解过程的并行执行。最后的实验显示,在处理大数据集时,随着节点的增加,此算法的运行效率也不断提高,得到了比较理想的计算性能,这凸显了云计算技术与协同过滤技术结合解决大数据信息过滤的优势。
其他文献
采用问卷情景导入,通过真实事件材料考察了初中生的元认知能力对其产生事后偏差的影响,及此影响是否仅存于假设型范式中。结果发现:在两种范式下,元认知能力较高的初中生所表
“二三四五”高中语文协进教学模式立足让学生获得全面、均衡、有个性的发展。本文以案例分析的形式阐明运用策略落实教学目标的具体操作过程。
论文批驳了《理性的视角》所提出的"从理性分工的角度来看,高等教育本质上是一种知识再生产活动"这一核心观点,认为认知理性不是高等教育的本质属性,高等教育的本质属性是人
<正> 在我国社会主义市场经济体制逐步建立与完善的新的历史时期,怎样才能振兴中医呢?有人强调关键在于提高中医的疗效。笔者认为疗效的提高需要医疗市场的检验。因此,努力提
随着我国经济市场化进程的推进,我国企业重组逐渐显现出了市场化的机制,企业重组有力地推动了资本市场的优化配置,增强了企业参与国际市场的竞争力。在新经济体制日益壮大的形势
语文教科书中的课文塑造了大量的人物形象,而初中阶段正是学生社会性别、行为方式与规范形成的关键时期,教科书中所呈现的人物形象及其反映的价值取向都会对学生性别观、人生
如何激发学习动机是当前教育工作者、心理学研究者都很关注的一个问题。干预动机变量已经被证明是一种可行的方法,我们认为,认知干预也是激发学习动机的一种有效途径。为了检
常减压蒸馏装置是炼厂的龙头装置,是原油加工的第一道工序。常减压蒸馏装置在炼厂具有重要的地位。目前应用于化工领域的通用流程模拟软件较多,但是没有专门针对常减压蒸馏装置
<正>电感耦合等离子体质谱(Inductively Coupled Plasma Mass Spectrometry,ICP-MS)是一种新型的元素和同位素分析技术,具有检出限低、动态线性范围宽、干扰少、分析精密度高