基于主题的Deep Web搜索引擎研究与探索

来源 :长安大学 | 被引量 : 0次 | 上传用户:z344121483
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Internet的飞速发展,为我们提供了海量的信息资源。但目前传统的搜索引擎能够检索的仅仅是World Wide Web中的一小部分,大量的Deep Web信息对这些搜索引擎是不可见的。这些信息隐藏在Web页面的搜索表单后面,保存在大型的动态数据库中。用户必须通过查询表单在线访问其后端的Web数据库才能获得这些信息。有效地把Deep Web信息加以利用是一个比较富有挑战性的课题。本文首先介绍了通用搜索引擎的一般原理,定量地分析了Deep Web的概况,并在此基础上对构建基于某一主题的Deep Web搜索引擎所涉及到的三个主要模块(表单抽取、查询处理、结果抽取)进行了分析研究,同时阐述了相关算法。本文的主要研究内容包括:1.讨论了Deep Web的定义,在分析Deep Web工作原理的基础上给出了基于某一主题Deep Web搜索引擎的总体设计思路和实现技术。2.研究了表单抽取模块中的Deep Web站点发现策略,通过对不同结构表单页面的分析,提出了查询表单元素的统一表示方法。3.分析了目前存在查询表单抽取方法,结合同一主题元素模板视觉的相似性,采用竞争分类法对表单元素值进行抽取,实验证明抽取效果比较理想。4.研究了元素间的相似度算法,通过计算表单元素之间的相似度,排列数据源与用户查询的相关性,从而选择出该领域内与用户查询最相关的数据源。5.设计了一个查询转换器,有效地解决了用户查询接口与数据源之间的元素映射问题。6.分析了目前存在的Web页面抽取技术,通过构建正则表达式和样本模板,对半结构化的结果页面进行抽取,将抽取的信息保存到本地数据库。为了验证文中涉及方法的有效性,本文设计了一个基于职位查询主题的Deep Web搜索引擎,对51job.com及Chinahr.com进行了抽取实验。结果表明,竞争分类法和情景模式的引入,简化了抽取方法,提高了抽取的查准率。
其他文献
随着因特网的迅猛发展和多媒体技术的广泛应用,越来越多的数字作品通过网路的形式传输、发表,使得这些作品的版权保护技术显得尤为重要。数字水印是一种有效的数字产品版权保
无线传感器网络(WSN)作为一种全新的信息获取和处理平台,广泛应用在环境恶劣、不可到达领域,实现监测与跟踪任务。在这些应用中,节点位置的确定扮演着重要角色,因此,对WSN节
计算机软硬件技术的飞速发展大大推动了嵌入式系统的广泛应用。Linux操作系统性能卓越,在嵌入式领域被广泛采用。同时图形用户界面作为良好的人机交互技术,也被用来增强嵌入
大豆由于适应性好而被广泛种植。我国有着悠久的大豆栽培历史,也是世界上大豆种植大国,大豆具有良好的经济效益和生态效益。黑龙江省作为我国大豆种植大省,大豆在广大农牧民
随着多媒体技术不断进步以及计算机网络覆盖率扩大,人们通过网络可以非常方便快捷地对文本信息、图像信息、音频视频等多媒体信息进行传输;但同时在网络传输过程中,多媒体信
随着多媒体技术和网络通信技术的迅速发展,视频会议的研究和应用已经成为当今的一个热点。在视频会议中,目前比较成熟的信令协议有H.323协议与SIP(Session Initiation Protoc
随着多媒体和计算机网络技术的发展,多媒体视频应用的范围扩展到经济、军事、政治、教育等各行各业。政治、经济、军事等敏感场合对保密性和安全性的要求,激励了对视频信息加
无线传感器网络(WSN)是由大量传感器设备组成的分布式自组织无线网络。通过传感器节点之间协同合作,将其监控的各种环境信息(温度,气压,光照)整合并发送到基站进行处理,由于
无论是自然界还是人类社会,都存在着许多由组件相互连接而形成的错综复杂的拓扑结构。科学家们根据相关理论借助数学工具,从现实世界中抽象出的、具有一定特征的网络结构,称
功能基因组学的主要研究内容就是研究基因的表达调控机制,研究基因在生物体代谢途径中的地位,分析基因、基因产物之间的相互作用关系、绘制基因调控网络图。近几年发展起来的