论文部分内容阅读
Internet的飞速发展,为我们提供了海量的信息资源。但目前传统的搜索引擎能够检索的仅仅是World Wide Web中的一小部分,大量的Deep Web信息对这些搜索引擎是不可见的。这些信息隐藏在Web页面的搜索表单后面,保存在大型的动态数据库中。用户必须通过查询表单在线访问其后端的Web数据库才能获得这些信息。有效地把Deep Web信息加以利用是一个比较富有挑战性的课题。本文首先介绍了通用搜索引擎的一般原理,定量地分析了Deep Web的概况,并在此基础上对构建基于某一主题的Deep Web搜索引擎所涉及到的三个主要模块(表单抽取、查询处理、结果抽取)进行了分析研究,同时阐述了相关算法。本文的主要研究内容包括:1.讨论了Deep Web的定义,在分析Deep Web工作原理的基础上给出了基于某一主题Deep Web搜索引擎的总体设计思路和实现技术。2.研究了表单抽取模块中的Deep Web站点发现策略,通过对不同结构表单页面的分析,提出了查询表单元素的统一表示方法。3.分析了目前存在查询表单抽取方法,结合同一主题元素模板视觉的相似性,采用竞争分类法对表单元素值进行抽取,实验证明抽取效果比较理想。4.研究了元素间的相似度算法,通过计算表单元素之间的相似度,排列数据源与用户查询的相关性,从而选择出该领域内与用户查询最相关的数据源。5.设计了一个查询转换器,有效地解决了用户查询接口与数据源之间的元素映射问题。6.分析了目前存在的Web页面抽取技术,通过构建正则表达式和样本模板,对半结构化的结果页面进行抽取,将抽取的信息保存到本地数据库。为了验证文中涉及方法的有效性,本文设计了一个基于职位查询主题的Deep Web搜索引擎,对51job.com及Chinahr.com进行了抽取实验。结果表明,竞争分类法和情景模式的引入,简化了抽取方法,提高了抽取的查准率。