基于MapReduce的社会网络分析系统研究与实现

被引量 : 20次 | 上传用户:epigeige
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网进入web 2.0的时代,出现了越来越多的社会化网站。这些社会化的网站互相模仿借鉴,使得网站提供的服务相似程度很高,网站的同质化加剧。因此需要分析网站的用户的特点,根据用户的特点,有针对性的向用户推出服务,使得用户可以获得更好的服务体验。而传统的基于数据仓库的社会网络分析工具,在用户数据管理和数据分析上存在着很大的困难,面临着难以管理异构数据和分析数据规模过小的问题。基于MapReduce的社会网络分析方法是很好的解决方案。本文提出了一套基于MapReduce的社会网络分析系统的研究与实现方案。本文提出了基于MapReduce的社会网络分析系统设计方案,包括进行社会网络分析所需的数据获取,数据格式转换,图处理和社会网络分析算法的设计,实现了进行社会网络分析的完整过程。数据获取使用网络爬虫从社会化的网站上进行数据抓取,分析网站URL的特点,通过对网络爬虫的配置文件进行设置,实现内容的精确抓取。基于MapReduce的社会网络分析系统设计方案中,设计了图处理系统。进行社会网络分析,将社会网络抽象成一幅图后,需要对图中的节点和边等图数据进行处理,设计了图处理系统用于图数据的处理,向社会网络分析算法提供图数据处理能力,系统设计了图处理系统。图处理系统提供了从网络爬虫抓取的数据的数据格式向图数据格式的转换。在基于MapReduce的社会网络分析系统中,需要实现社会网络分析算法,用于对社会网络进行度量分析。本文介绍了基于MapReduce进行社会网络算法设计的思想,进行算法设计时的数据结构定义等,并以点度中间度为例,介绍了基于MapReduce的社会网络分析算法的详细设计和实现过程。本文中提出的基于MapReduce的社会网络分析系统经试验验证,运行良好,适于对社会化网站中的大规模数据进行社会网络分析。
其他文献
普查是指一个国家或一个地区政府部门专门组织的大规模的全面统计调查。随着服务型政府的建立,对普查进行绩效管理显得尤为重要。分析我国普查经费使用情况,为普查进行绩效管
数学问题解决是20世纪80年代以来,世界数学教育的热点及核心问题之一,20世纪90年代传入我国,受到我国教育界的普遍重视。本论文主要是运用现代认知心理学的观点,通过资料研究
中国邮政行业的信息化建设从九十年代起步,经过十多年的发展,企业信息化已经达到了较高的水平。但与此同时,随着业务的不断发展和信息化的持续深入,IT运维部门的压力越来越大
思想政治工作是做好企业一切经济工作的前提和保障,是企业发展的动力,政工干部作用的有效发挥直接决定思想政治工作的成效。面对当前严峻的经济形势,做一名合格的企业政工干部面
介绍了栾川白钨资源的现状,简述了历年来白钨综合回收的试验情况。研究表明,采用常温浮选、精选加温的工艺流程从栾川浮钼尾矿中回收白钨已成为可能。
如何引进和利用信息技术,改善传统的教学模式,这是信息时代的呼唤,也是对教师在信息化环境下开展教学实践的新要求。本文阐述了基于"非指导性教学"的教学策略的理论基础;探讨
文章研究中的上海临港地区与韩国釜山海云台地区旅游产业发展情况的对比着重于两地区旅游发展,通过对比来总结出临港发展旅游业的不足,进而推动临港地区旅游业的发展。
构造带有广义熵约束的CVa R投资组合线性规划模型,采用K-means聚类法产生投资组合中各个资产收益率的情景及概率,并把它们代入模型中,得出投资组合的最优投资权数.通过选取深
针对国产机组旁路系统较为普遍存在的问题进行了分析。针对这些普遍存在的问题,提出了多项旁路系统优化方案。优化后,可显著改善大型机组启动及运行的安全性、灵活性,并能适