Deep Web查询接口及查询结果抽取研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:fuhui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅速发展,Web中出现了大量可访问的在线数据库,其中蕴含着丰富的信息,称为Deep Web信息。由于包含这些信息的页面是Deep Web网站根据用户在查询接口上提交查询动态生成的,因此传统搜索引擎无法索引这些页面。为了使用户能高效快捷的访问Deep Web信息,Deep Web数据集成成为目前信息检索领域一个亟待解决的问题,是目前研究的热点。Deep Web查询接口的理解是Deep Web数据集成中的一个关键问题,本文在深入分析Deep Web数据集成研究现状的基础上,对Deep Web查询接口相关的若干关键技术进行了深入的研究,包括Deep Web查询接口领域模型的提出,Deep Web查询接口的发现、模式抽取和基于查询实例的查询结果抽取与标注等内容。具体的创新和贡献如下:提出了Deep Web查询接口领域模型Domain Model。在对Deep Web查询接口研究的基础上,提出了领域模型,它包含了同一领域中所有查询接口的模式信息。从理论上分析了领域模型构建的可行性,并给出了构建方法和存储方案。分析了领域模型在Deep Web数据集成框架中的作用,基于领域模型为Deep Web数据集成中的若干问题提出了新的解决方法,为突破集成框架的整体性能瓶颈提供了可能。提出了一种Deep Web查询接口发现方法PostClassifier。该方法通过对接口进行查询提交,根据返回结果页面特征判定接口类型,属于Post-Query方法。PostClassifier首先借助Pre-Query方法生成的规则对接口进行预判,减少Post-Query带来的查询代价。根据查询接口领域模型对接口进行领域分类,使用领域模型提供的属性值对接口属性进行填写以保证查询的有效性。根据各种接口的查询结果页面特征,PostClassifier给出了判定查询接口类型的依据。提出了一种查询接口模式抽取方法,该方法第一次分别处理查询接口中的标签和控件。提出了根据领域模型生成接口标签树的方法,为接口中的每个标签在领域模型中找到对应节点,需要处理标签重复和标签失效等问题。提出了控件和标签的匹配方法,将接口中控件和标签的匹配转化为控件和领域模型中标签对应节点间的匹配,因此可以使用更多的信息,提高了标签和控件匹配的正确率。对于失效标签,若它与某个控件相匹配,通过最后的结果合并仍然可以得到正确的处理。实验结果表明该方法能有效的抽取查询接口的模式信息。提出了查询结果抽取与标注方法EaSd。EaSd采用VIPS页面分块方法表示结果页面,更接近人类对Web页面的认知,有利于后续的抽取与标注工作。EaSd根据查询关键字会出现在查询结果记录中这一性质进行记录节点发现,并根据多个记录节点发现结果记录块。EaSd对结果记录的数据单元进行数据对齐,进而发现它们的共同模式和特征,利于标注。使用本地接口和领域模型共同进行标注,解决了本地接口属性不全和标注不一致问题,同时使用多种标注方法进行标注,提高了标注的召回率和准确率。实验结果表明了EaSd能很好的抽取结果记录,并能正确地标注大部分属性。
其他文献
明清交替之际,三大著名启蒙思想家王夫之、黄宗羲、顾炎武的著作中均有丰富的社会稳定思想.其中,"为天下非为君也"、"使天下各得其所"的思想最具光辉.
本文针对人才市场普遍反映高校教育与社会实际工作脱轨的情况,提出了国内外会计学理论教学与实践工作结合程度普遍偏低,致使学生对于所学理论课程不能很好理解,更不能很好地
在新时期,党组织如何发挥政治核心作用?自治区农牧厅党组始终有这样一种认识:不管在任何时期,党组织的核心作用只能加强,不能削弱;在全面建设小康社会这一历史任务下,区农牧厅必须紧
报纸
高职高专院校作为我国社会主义建设高素质专业人才的培养基地,为了培养全面发展的人才,不仅要注重对学生知识的教育,还要加强对学生的体育健康教育。现阶段,传统的体育教育由于教
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
“买者自负”作为市场经济的一个基本理念在我国金融产品投资领域被首次强调,其意义在于警示投资风险、鼓励金融创新。而“买者自负”要实现预期效果,投资者、商业银行和监管
基于结构化对等网络的高性能计算平台的相关研究,现在仍处于起步阶段。这其中提出了很多新的问题,也为与此相关的研究开辟了很多新的方向。对等网络有一个基本特征:网络中节
陈柱先生是民国时期著名的国学家、诗人,他博闻强识,根柢深厚,在国学研究领域有着广泛而深刻的研究。其所著《尚书论略》一书,博古通今,删繁就简,叙述详明,条理清晰,适合作为
如今,在互联网环境下的办公自动化已经在机关政务工作中得到了广泛应用。覆盖全国的统一电子政务网络,开通了信息资源公开和共享的重要渠道,使政务工作得以在线处理,实现了信
数学实践活动课有自身的规律和要求。文章以“角的初步认识”教学为例,从联系生活、学会观察,动手操作、充分积累,反复练习、应用提升几个方面,研究数学实践活动课的教学策略