随着信息技术的发展,大量数据充斥着整个互联网,如何在海量数据中获取有效信息,日益成为一个热门的研究课题。传统的搜索引擎在一定程度上满足用户检索需求,但其存在一定缺陷。一方面,传统的搜索引擎是采用基于关键词组合的搜索方法,其并不能准确反映用户的检索需求;另一方面,搜索引擎返回的结果是网页列表,其中包括标题和摘要,需要用户进一步筛选。问答系统在一定程度上弥补了传统搜索引擎的不足。一方面,问答系统,用户可以自然语言进行提问;另一方面,返回相对简洁的答案。近年来,研究者们针对问答系统提出了诸多方案,仍然存在问句分析效果差,短文本相似度计算复杂,最终返回的答案质量较差等问题。针对这些问题,本文基于百度知道对基于Web的问答系统进行研究,做了如下的工作:(1)问句句式的分析:现有的句式分析技术,尤其在问答领域主要是针对限定领域的问答系统。常见的问题分类对于真实问句不太适用。本文对问句进行分析,引入词模和问题元,对问句的句式进行探索。通过问题元对问句类别进行细分,可以采用不同的策略来回答用户较为复杂的问题。例如,请求介绍电影,音乐等,可以通过传统的推荐算法来回答用户的问题。(2)相似度算法的研究:本文针对短问句的相似度计算较为复杂的问题,引入了词模和问题元机制对短问句进行分解,并计算其相似度。而针对长问句,由于其含有的信息量较多,传统的相似度算法,如tf-idf计算余弦相似度算法的效果较好。本文对相似度计算,将问句分解与传统方法相结合,考虑了句子长度,提高了相似度的计算效果。(3)答案质量的研究:本文的数据来自百度知道。本文研究常用的爬虫技术和反爬虫技术,通过实验爬取了百度知道上的问题和答案对,以及一些附加的属性(问题提出的时间、答案回答的时间、答案获得的点赞数以及差评数等)并进行统计分析。部分问题,百度知道提供了最佳答案。如何给没有最佳答案的问题找到较好的答案,本文综合考虑了答案本身属性、用户属性以及答案的点赞数和差评数等附加属性。为了提高答案质量,本章采用主动学习算法,将最不容易区分的答案进行手工标注,减少了标注工作量,同时提升了答案质量。最后,本文基于Git Hub上开源项目Question Answering System问答系统,并结合自己的对百度知道中问句的分析、相似度算法的改进并在此基础之上搭建了一个小型问答系统,可以完成一部分非事实性问题的回答,具有实用价值。