分布式社交分析系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:szoysj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着在线社交的发展和大数据时代的到来,社交分析工作的价值越来越大,也备受关注。社交分析工作的模块化、功能化值得深入研究并实现。另一方面,在大数据时代,社交网络的规模越来越大,传统的社交分析工具和方法难以支撑大数据的存储和计算。同时,Hadoop、Spark等分布式平台的出现,使得数据的存储和计算可以很简便的实现分布式进行,同时又提供良好的容错性。这些分布式工具为大规模社交分析工作提供了新的思路和方法。但是现今针对社交分析的整体系统或解决方案仍有许多值得研究的工作。本文从社交分析中不同类型的数据和不同的分析任务入手,对大规模社交分析提出了一整套自底向上的分布式系统设计方案。本文提出的分布式社交分析系统涉及数据的存储、计算、算法实现、应用、性能分析等方面,可以支撑不用类型的社交分析工作,并有良好的易用性、可靠性、高效性、可扩展性。本系统采用层次化设计,具体包含网络特征分析、节点(用户)重要性、社团划分、用户相似性分析等一系列基础社交分析功能。在分布式社交分析系统实现过程中,本文针对常见的性能问题,如数据倾斜、网络交换(Shuffle)数据量大等问题也提出了对应的解决方案。同时,为了分析分布式系统作业负载的性能瓶颈问题,在本系统中设计了性能分析功能,提出了一种性能瓶颈的量化方式,并对性能瓶颈量化指标进行了建模。最后本文还得到了一个通用的、普适的性能瓶颈模型G-BRM。本系统的性能瓶颈分析功能可以及时地诊断系统中不同作业的性能瓶颈,有助于进行参数调优、应用优化。
其他文献
扎囊虱雕,历史悠久,工艺精湛,2013年被列入第四批自治区级非物质文化遗产名录。  行走在西藏的大街小巷,抑或身处藏族人家里,总能看到藏式木雕的身影。在藏式家具上,在藏式建筑里,在木雕手工艺品上……繁复的花纹、质朴的色彩、精湛的工艺,让木雕艺术既完美地融合在藏式建筑物整体之中,又像山水画一般清新淡雅,为古色古香的建筑锦上添花。  不是工厂大机器流水线的制作,这里的每一双手都在用手工成就着经典的“扎
贫困问题是始终困扰政府的一个难题,反贫困是一项长期而艰巨的任务,在这方面我国已投入了大量的人力物力,并取得了举世瞩目的成就。我国的贫困地区与贫困人口主要集中在西部民族
铅包覆玻璃纤维属于塑性材料包覆脆性材料,包覆条件是建立在玻璃纤维不发生变形的情况下,为此,入丝模芯顶端与挤压模口之间的间隙即包覆间隙的优化选择是成形工艺的关键问题.本文
目的:观察安心颗粒对冠心病患者同型半胱氨酸(Hcy)的干预作用.方法:将60例冠心病患者随机分为A、B 2组各30例.A组给予安心颗粒(由人参、桂枝、瓜蒌、水蛭、茯苓等组成)治疗,B
提高自主创新能力、建设创新型国家,是全面建设小康社会、实现中华民族伟大复兴的必然要求。为建设创新型国家培养杰出人才,高水平大学责无旁贷。事实证明,高质量的大学教育是培
以湘西州政府为例,阐述了政府投资项目审计工作的现状,从审计的内部因素和外部因素两方面分析了政府投资项目审计工作存在的问题,并从队伍建设、社会中介监督、制度建设等方
目的 研究妊娠期糖尿病孕妇孕期体重指数增长影响妊娠结局的意义。方法 以妊娠期糖尿病为背景对2013年6月~2014年5月门诊及住院部收集的2000例孕妇进行回顾性分析研究,对确诊
一场突如其来的新冠肺炎疫情暴发后,在党中央统一领导,习总书记亲自部署、指挥下,全面打响了疫情防控人民战争和疫情防控总体战、阻击战。把疫情危机转化为思想政治教育契机
目的:研究电针结合磁刺激治疗脑梗死后尿潴留的临床疗效。方法:将符合纳入标准的61例脑梗死并发尿潴留患者按照随机数字表随机分为对照组(31例)和观察组(30例),两组均采用常