基于Hadoop和Mahout的视频推荐技术研究及应用

被引量 : 1次 | 上传用户:color5188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,尤其是移动互联网的兴起,网络视频数量剧增,人们对视频个性化的搜索需求在不断增加。如何从浩瀚视频信息中智能搜索用户感兴趣内容,同时挖掘出用户本身潜在的兴趣,减少用户搜索和选择的时间,是计算机领域及社交网络研究的重要课题,由此基于大数据的视频推荐技术应运而生。目前大数据环境下,视频推荐技术的研究取得了一定的进展,但仍处于起步阶段,相关的理论和技术还不够完善,面临着多方面的挑战,主要有以下几点:(1)协同过滤推荐算法在视频推荐中应用最为成功,但其扩展性不佳,用户打分矩阵稀疏和冷启动等问题,导致其推荐效率不高,难以有效地用于大数据的推荐。(2)用户间相似度计算效率较低,当用户打分矩阵极其稀疏时难以计算出用户与用户之间的相似度,容易导致目标用户最近邻难以被找到。(3)在大数据环境下,面临着如何将浩瀚的视频数据经过离线处理,并结合在线推荐以提高处理大数据的能力,保证系统良好的实时推荐性能。鉴于以上问题与挑战,本文尝试提出一些方法对现有推荐算法存在的问题进行改进,并结合大数据处理技术,构建一个基于云计算的视频推荐原型系统。主要工作包括:(1)针对协同过滤推荐算法存在的数据稀疏问题,采用一种聚类的用户搜索方法预先对用户集进行归类处理,然后目标用户在其所属的类簇里进行最近邻查找,极大地缩小了最近邻的搜索范围,有效地缓解了数据稀疏问题。(2)提出一种基于Mahout框架的视频推荐算法CF_PIU,通过结合User-Based和Item-Based的基本思想,采用一种计算用户之间相似度的新方法,并通过收缩相关系数优化用户之间的相似度。实验表明,CF_PIU算法在视频推荐质量方面优于UserCF等传统视频推荐算法。(3)基于Hadoop技术,采用MapReduce计算框架对推荐算法实施并行化处理,提高推荐算法的运算效率,增强算法的可扩展性。(4)设计并实现了一个基于Hadoop和Mahout的视频推荐原型系统,实现了视频打分数据提取、相似度计算、支持分布式处理、混合相似度推荐结果等功能。
其他文献
随着化石燃料可开采量的减少和人类对全球性环境问题的关注,生物质作为一种可再生能源,由于资源丰富,分布广泛,燃烧过程对环境的低污染性,CO2的净零排放等特性日益成为国内外
电力系统的自动化设施的建设是我国电力系统目前发展的重点,针对环网柜在电力系统的运用,本文进行了针对性的讨论,在配电网的自动化的控制过程中,环网柜起到了非常重要的作用
<正>我们所从事的戏曲艺术是一种程式化、戏剧化的歌舞表演,是综合运用唱、念、做、打多种表演手段创造舞台形象的艺术,与所有的戏剧艺术一样,戏曲舞台上的所有角色,无一例外
通过对三江源区黑土滩退化草地植被恢复研究历史回顾,最新研究成果总结,提出了目前该研究领域存在的主要问题及今后的研究方向。
<正>中国(上海)自由贸易试验区自去年9月29日挂牌成立、10月1日正式运营,至今已经一年了。一年来,这个寄托着我们许多"新期待"的地方,发生了一些什么样的变化?这是我们大家所
测试夹具是连接测试系统与电源模块的装置,也是实现测试的必要装置,在测试系统中起着不可替代的作用,直接影响到测试的准确性、全面性、安全性。文章基于I9000电源模块测试系
整体性治理范式契合当下中国乡村治理变革的现实需要。借鉴和运用整体性治理有助于推动乡村治理观与治理体制机制的整体性创新与变革,有利于促进乡村治理方式上的整体性转型
<正>大多数人认为,美术学院教育代表艺术创作中的正统和主流。这种正统性产生的原因,一定程度上源于美术教育工作者是事业编制,美术学院的毕业生如果有机会进入国家体制内工
<正> 自1956年萨尔托海含铬超基性岩体发现以来,经过三十多年来的地质勘探与研究工作,已陆续发现了一批矿群,使萨尔托海铬铁矿区一跃成为全国大铬铁矿矿区之一.本文试图在论