【摘 要】
：
针对中文文本,抽取出文本内容特征,结合Simhash算法生成中文文本的语义指纹,通过语义指纹的海明距离判断文本间相似程度。整合Single-Pass快速聚类算法对语义指纹快速聚类,所
【基金项目】
：
国家自然科学基金项目“科研团队动态演化规律研究”(项目编号:71273196)的研究成果之一
论文部分内容阅读
针对中文文本,抽取出文本内容特征,结合Simhash算法生成中文文本的语义指纹,通过语义指纹的海明距离判断文本间相似程度。整合Single-Pass快速聚类算法对语义指纹快速聚类,所得的语义指纹聚类即为文本去重的最终结果,从而实现面向中文文本的快速去重流程。实验过程中,通过与Shingle算法对比,可以体现该方法在算法精确度、鲁棒性等方面的优势,同时该方法的运行速度优势也能较好地支持大数据量文本的去重操作。
其他文献
呼图壁县第五中学自建校以来就有着民族团结的光荣传统，各族教师在这里团结交心、辛勤耕耘、播撒希望，各族青少年在这里团结交融、汲取营养、增长本领。但是，“三股势力”与我们
研究免疫磁性糊精微球的制备及在快速分离检测单增李斯特菌中的应用。将磁性糊精微球由环氧氯丙烷活化后,与抗体交联制得免疫磁性糊精微球,通过单因素和正交试验对合成条件进
9月11日上午，在第六中学风雨操场，市教育系统举行万人集体发声亮剑活动。$$为深入学习贯彻习近平总书记系列重要讲话精神，贯彻落实自治区党委要求和陈全国书记重要批示精神，进一
近几年来,间歇性禁食似乎成了瘦身界的新宠,这种方法被认为不仅可以减肥、增强精力,甚至还可以延寿。是否存在足够的科学证据支持这些效果呢?前些时间,发表在《Cell Metaboli
本文对引起油井含水率上升的异常原因作了讨论。以三种现场施工情况为例，说明了聚合物凝胶封堵地层方法的有效性与经济性。
世界著名核医学专家wagner教授为今年的(美国)核医学年会作总结,这是他连续第22次在年会结束前作的总结发言.JNM99年第10期刊登了他的全文,全面而详细的总结了会议内容,介绍
<正> 近年来,许多妇产科医师对输卵管妊娠采取保守性手术治疗,以保持其生育功能.作者原工作的南溪山医院于1991年6月～1996年7月对30例输卵管妊娠患者施行输卵管开窗缝合手术,
随着最近的4G网络大规模商用,加之,近几年移动互联网的飞速发展,越来越多的人使用手机、平板电脑等移动终端通过WLAN接入互联网,OFDM技术得到了越来越多人的关注。IEEE802.11
有限元强度折减法广泛应用于边坡等工程的稳定分析中,而在隧道工程稳定分析中的应用相对较少。文章将有限元强度折减法用于隧道施工稳定分析与控制中,提出基于围岩安全系数进
目的探讨右美托咪定对结肠癌术后胃肠功能恢复的影响。方法选择2013年2月至2015年11月本院收治的结肠癌行手术治疗者80例,按照随机数字法分为观察组与对照组,各40例。对照组