基于hadoop平台下的k均值高效算法的研究

被引量 : 0次 | 上传用户:jianzhang5555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机处理能力的突飞猛进,现实生活中数据量的逐渐增加,人们能够通过数据挖掘、机器学习等技术来挖掘数据中存在的信息。聚类是对点集进行考察并按照某种距离测度将它们聚成多个簇的过程,它是数据挖掘领域中重要的技术之一。Hadoop是Apache下的项目,它是用来作为构建云平台的计算框架。在这个平台上,使用HDFS来存放数据,使用MapReduce编程方法对大数据进行处理。本文介绍了Hadoop的子项目HDFS和MapReduce编程方法,比较了传统的k-means算法和canopy算法,并且分析了它们的优点和缺点,然后提出了改进的k-means算法。因为canopy算法选取比较随机,所以使用“最小最大原则”对canopy算法进行了修改,并且使用MapReduce编程方法,以路透社新闻集作为实验数据,最终实验结果表明,改进的算法相对于传统的算法在稳健性和准确率上有了很高的提高。
其他文献
目的应用角膜生物力学眼压分析仪Corvis ST对圆锥角膜快速角膜胶原交联手术前和术后1年角膜生物力学进行测量,探讨角膜胶原交联手术后角膜生物力学的改变特点。方法回顾性研
在建筑符号学的语境下,本文通过将符号与建筑空间的基本特性进行比对分析,结合实例论证了"对建筑空间的感知,可以且应当被视为符号",并阐明了这一论证的理论价值。
指出了实施实施创新驱动发展战略对当前我国高校旅游管理专业树立先进的创新创业教育理念,推进素质教育,提高人才培养质量提出了更高的要求。地方高校基于“双创”背景,应把
口腔溃疡是以周期性发作为特点的口腔粘膜局限性损害,口疮发作时溃疡面有剧烈的烧灼感,疼痛难忍。局部用药是目前治疗口腔溃疡的最有效的手段。传统的剂型如口含片、含漱液等由
近年来随着无线通讯领域的快速发展,对射频集成电路的要求也逐渐增高,目前,射频芯片的单片集成越来越受欢迎并成为研究的热点。滤波器是单片集成无线接收机芯片中的一个重要组成
高光谱在草地蝗虫监测中的应用研究主要包括:对草地生长周期的连续光谱采集工作,对草地生产力的监测与反演,对草地蝗虫短星翅蝗(Calliptamus abbreviatus)的高光谱调查,羊草(L
听觉叙事,特指文学作品当中侧重听觉感官而发生的较为意味的、对相关艺术功能的实现起到相应作用的叙事现象,一般性的对话、声响并不被列入听觉叙事的研究范畴。当今社会视觉
通过对国外60年代流行的一种英语教学法——全身反应教学法的定义、背景、原理、具体步骤及其在语言教学中的运用作了简单的介绍。提出了在中国语境下,尤其在基础英语教学中,
血清钙镁浓度及其比值异常与头痛的关系探讨邵明,田时雨,朱利元,吴宣富有资料表明钙、镁与偏头痛的发病密切相关,因此,我们测定了22例偏头痛间歇期患者和13例发作期患者血清钙、镁含量
目的:应用Meta分析评价手助腹腔镜(hand-assisted laparoscopic, HALS)与开腹手术(open surgery, OS)两种手术方式治疗结直肠癌的疗效及安全性。方法:检索筛选世界范围内发表于