【摘 要】
：
如今的互联网领域时刻都在产生海量的数据,文本数据是重要的组成部分.在这些文本数据中,存在大量的近似复制文本,这些相似程度很高的文本对给相关处理程序增加了额外负担.针
【基金项目】
：
国家自然科学基金项目(61170064,60803016);清华信息科学与技术国家实验室(筹)学科交叉基金项目;“核高基”国家科技重大专项基金项目(2010ZX010402-002-002-01)
论文部分内容阅读
如今的互联网领域时刻都在产生海量的数据,文本数据是重要的组成部分.在这些文本数据中,存在大量的近似复制文本,这些相似程度很高的文本对给相关处理程序增加了额外负担.针对云计算环境,提出了一种基于MapReduce的近似复制文本检测算法,它能够在给定的文本集合与相似度阈值条件下,经过过滤与验证操作后返回所有相似程度不低于该阈值的文本对.真实数据集上的实验结果表明,与现有工作相比,所提算法能更为高效地返回相似文本对,提高了总体性能.
其他文献
高师生体质不断下降的现实,高师院校公共体育课程与现代终身体育理念的种种不适应,使得健康体适能成为高师院校公共体育改革的最佳途径。健康体适能课程,既克服了高师院校传
随着西方敌对势力对我国意识形态领域的不断渗透和破坏,新疆公安工作面临的反恐维稳形势愈发复杂和严峻。为了坚决贯彻落实维护社会稳定和长治久安的总目标,就必须不断提高新
北京大学儿童青少年卫生研究所最新公布了一项全国性的调查结果：中学生每5个人中就有一个人曾经考虑过自杀，占调查总数的20.4%，而为自杀做过计划的占6.5%。近年来，随着经济、社会的发展，因社会、家庭、自身等方面压力的增大，再加上长期以来生命教育的缺失，青少年对“生命”缺乏最基本的了解和思考，青少年自杀、暴力犯罪、网瘾等现象频繁发生，意外伤害、自杀等非正常死亡已成为危及青少年生命的首要原因。此项调查
随着世界经济全球化的迅速发展,文化变得更加多样化。文化自信成为人才培养的支柱,因此对文化民族性和本土性的解读提出了更高要求,民间美术所承载的乐观、自强、工匠精神均
历史教学的目的是增长学生的见识,让学生充分了解舞蹈院校的发展史,历史教育与文化的多元性培养有着十分紧密的联系。教师在为学生讲解舞蹈院校历史的过程中需要注意对学生文
随着社会经济的发展,人们愈发认识到与自然和谐相处的重要性,因此绿色环保发展理念成为迎合新时代发展的潮流之一,由此使得绿色环保的理念逐步与生产生活中各个领域融合。就
勤工助学是高校资助体系的重要组成,也是高校思想政治教育的有效途径。本文综合分析勤工助学的现状,在分析勤工助学工作被动、缺乏明确法律和政策保障等问题的基础上,讨论勤