搜索引擎中文档聚类方法研究

被引量 : 0次 | 上传用户:x21501027
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,Web上的信息浩如烟海,搜索引擎作为互联网中的基础应用已经成为人们获取信息的重要工具。为了能给用户提供更好的搜索服务,近年来,数据挖掘和机器学习技术被广泛用来改善搜索结果的质量。其中,聚类技术在无任何先验知识的情况下,能将大规模数据按照数据的相似性划分成用户可迅速理解的簇(cluster),从而使用户更快地了解大量文档中所包含的内容。因此,聚类技术成为搜索引擎中不可或缺的部分和研究热点。在搜索引擎中,存在着两类数据:一是搜索引擎从互联网抓取的文档即用户搜索的对象,包括普通文本网页、XML文档和包括Flash、AJAX在内的超链接信息较少的文档;二是搜索日志即用户使用搜索引擎时产生的行为记录(userbehavior data),搜索日志提供了一个潜在的知识库来辅助文档聚类分析。不同的文档有不同的特点,不同的应用对聚类分析有不同的要求。因此,数据的表示、数据相似度的定义,以及聚类分组算法是重要研究课题,具有重要的理论和实际意义。对于文本文档(text document),现有的文本聚类算法忽略了文档是有序的单词序列而将文档视为一系列离散单词的集合。基于带窗口约束的关联规则的聚类算法(FICW)首先用滑动窗口对单词的位置进行约束,挖掘出文本集合中的频繁项目集,然后将得到的频繁项目集用于文本聚类。实验表明,FICW产生了质量更高的聚类结果,具有更好的效率和伸缩性。XML文档是Web上的重要组成部分,基于公共路径的XML文档相似度定义因为计算开销小而被应用于XML聚类,却忽略了公共子路径在XML树上的分布信息。一种基于启发性策略的合并编辑距离(MED),利用将两棵XML树压缩为它们的公共子树所需的编辑代价来捕获公共子路径的分布情况。实验表明,MED成功表示了XML树间公共子树的分布情况,基于MED的相似度定义较基于路径的相似度定义更好地衡量了XML文档间的相似程度。另一方面,为解决XML文档随意命名标签导致的度量XML文档相似度困难的问题,根据XML描述同类对象时,所使用的数据在数据类型的构成上具有一致性的特点,一种基于数据类型树的相似度评估标准被应用于XML文档聚类中。实验验证了该相似度定义的有效性,得到了较高质量的聚类结果。搜索日志记录的用户点击情况反映了网页中哪些主题才是真正引起用户兴趣的主题。因此利用搜索日志从用户的角度对网页进行聚类分析成为一种有效的方法。基于用户行为的混合网页表示模型首先从搜索引擎的搜索日志中抽取访问过给定网页的查询,将这些查询作为描述该网页的主题词,然后以主题词为中心从网页中抽取内容生成描述网页的虚拟文档以及相应的向量表示。实验结果表明,该混合表示模型能有效地改善网页分类和聚类的质量。Web上的AJAX应用和PowerPoint文件等弱链接文档由于缺乏足够的超链接信息,导致搜索该类文档时,排序结果不佳。针对该问题,基于聚类的弱链接文档排序算法利用聚类算法从高质量的网页搜索结果中提取与查询相关的主题,并根据主题的相关网页的排名确定该主题的重要性,最后根据识别的带权重的主题计算弱链接文档的排序值。实验结果表明该算法能够为弱链接文档产生较好的排序结果。
其他文献
如何设计、利用信息技术提高学习绩效一直是数字化学习研究的焦点。本团队从学习科学视角入手,以"语义图示"为技术着力点,试图通过对图示方式的探索以及图示技术的设计与开发
针对国内在中大功率IGBT驱动技术方面比较落后的现状,重点研究了高压隔离开关电源的设计;详细分析了中大功率IGBT对驱动器电源的特殊要求,基于以上要求,采用反激变换原理设计了反
企业运营及管理越来越依赖于信息技术,同时监管机构对企业风险管理的要求也越来越明确,对包括软件研发项目管理在内的信息系统规划、建设及运行进行审计成为检验企业风险管理
手机媒体成为当代大学生生活、交际与学习中不可或缺的重要媒体,研究如何发挥手机媒体的泛在优势,促进大学生利用手机媒体进行学习有着重要的意义。本研究基于问卷面向在校大
系统的孝德文化是中华传统文化的精髓,是中华民族一种独特的文化现象,对我国历史、社会的发展起着贯穿始终的重要作用。新时期的孝德,是与社会主义核心价值观相符合的、适用
高脂血症日益成为人类健康的一大负担,中医认为高脂血症是以肝、脾、肾等脏腑功能失调为本,以痰浊、瘀血为标之症。中医根据体质及寒热虚实等将高脂血症进行分型,并且对各型
目的循证更新美国医疗改进中心的呼吸机相关性肺炎集束干预策略,为临床决策提供参考。方法根据5个主要的循证问题,检索科学英文索引扩展版数据库,采用证据的"推荐分级的评估
目的 比较高胆固醇饲养兔、鹌鹑和大鼠诱发高血脂和动脉粥样硬化的特点。方法 长时期以不同含量的高胆固醇饲料喂养兔、鹌鹑和大鼠 ;采用生化检验技术测定血浆总胆固醇和甘
传统的电能计量系统由于原理上或者工艺上的缺陷,存在种种不足之处,计量误差较大。本文分析了当前国内外电能计量装置及相关技术发展现状,研究设计了一种新型的适合高压环境
钱宾四高度重视对中国历史文化与传统教育的研究,并能对中西文化与中西教育进行比较,对其各自特点加以对照分析,揭示出中国历史文化的独特精神为道德精神,认为这一精神正是中