基于Hadoop云计算平台的新浪微博数据聚类分析算法研究

来源 :辽宁科技学院学报 | 被引量 : 0次 | 上传用户:kxh8l
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着Web2.0的兴起,互联网信息更加丰富,数据规模日益增加,传统数据挖掘技术难以满足需要。云计算为解决这一问题提出了一种新方法。本文首先对开源的云计算技术Hadoop进行介绍,然后,对分布式进行了设计。本文将聚类过程分为三个步骤,分别对TF-IDF关键词提取、LDA模型训练和K-means聚类过程进行MapReduce的实现,并使用公共微博数据集进行了聚类实验,并与传统聚类方法进行对比,结果表明,本文所使用LDA建模的分布式算法对中文微博数据聚类效果较好。
其他文献
【正】 新年伊始,当我收到您寄来的《专业户》杂志样刊时,心里真有说不出的兴奋和激动。过去,常听人说,向刊物投稿,非得找后门和关系不可。然而,我是一个业余作者,贵刊社既无
近日,盾安环境牵手中广核公司防城港二期工程3-4号机组项目,为其提供核岛核级冷水机组的设计、设备、文件和服务,合同金额为4898万元;在防城港二期工程3-4号机组项目上为其提
企财险“消防优惠”是保险公司为促进保户单位做好防灾防损工作而制定的一种优惠措施,其条件为:投保企财险的保户单位若自有消防车辆及加强了消防设施或按装了自动灭火与自动
火力发电厂锅炉在运行中容易发生受热面积灰、结焦等现象,故需采用吹灰器定期对受热面进行吹扫,但蒸汽吹灰会对锅炉产生一定影响。现详细分析了蒸汽吹灰对锅炉汽温的影响,并
我省临沂市罗庄镇近年来镇、村企业蓬勃发展,全镇年工农业总产值达15.82亿元,60%以上农户的收入超过万元,被誉为“山东第一镇”。罗庄镇经济的发展和各项工作能够取得如此成绩
蒋立民喜欢打高尔夫,他希望能在退休之前把"未来之家"交给年轻人去打理。而他现在必须要做的是如何将其刚刚开设不久的"未来之家"的品牌知名度给打出去。因此,除过每天来正常上班
2006年11月6日,中兴通讯宣布已获得俄罗斯电信运营商MTT NGN国际关口局合同。这是继中国电信DCI长途网,中国电信上海国际关口局,蒙古ICTA国地关口局等项目后,中兴通信NGN技术在最
考察了玄武岩纤维及玄武岩纤维织物在2~18GHz频率范围的微波介电性能,结果表明玄武岩纤维的介电常数及介电损耗小,玄武岩纤维三轴向布和玄武岩纤维毡的反射损失均小于5d B。
介绍了广州电网110kV变电站的运行方式和10kV馈线的安装结构,对于馈线电缆屏敞层的接地线何置,以电缆装设的零序CT、为参照物,列举了二者的儿种相对位置,分析了这儿种相对位置对