受益于计算机软硬件日新月异的发展以及数据的爆炸性增长,基于深度神经网络的自然语言处理技术,已经在信息检索、机器问答等领域得到了广泛的应用,并取得了良好的效果。目前的智能问答技术已经超越传统问答系统在多个问答任务数据集上的表现,但现有的智能问答仍主要基于数据来计算答案的匹配程度,对知识以及常识的应用相对还比较匮乏。基于此,本论文开展面向事实问答系统的推理关键技术研究。事实类问题具有准确的、基于客观事实的答案。提升解答事实类问题所需的常识推理能力是研究的难点。本论文基于预训练语言模型设计并实现事实问答系统。通过增强预训练模型常识语义理解、增加与改善知识来源等方法来提高系统的常识推理能力,进而提升事实问答系统在常识推理问答数据集上的表现。本论文的研究工作如下:（1）提出了一种利用开放语料增强常识语义的方法。首先对词典英文定义语料进行分析,确定该语料中问题与回答单词存在共现关系。然后提出了一种开放语料的获取筛选方法,该方法结合推荐引擎和Elastic Search模糊搜索补充单词定义缺失问题,并筛选排除了无益于常识语义增强的部分语料。最后,基于预训练模型ALBERT,论文设计并实现了融合开放语料的常识推理事实问答系统,通过实验分析验证了增强常识语义的有效性。（2）提出了一种利用预训练模型进行知识图谱补全的方法。知识图谱的不完备性削弱了其作为问答系统知识来源的优势。为改善知识来源,本论文提出了一种实体预测模型KGALBERT,利用实体描述中的语义信息提升模型的泛化能力。经过多个数据集进行实验验证,证明该模型能够有效改善知识图谱不完备性。（3）提出了一种利用知识图谱提升事实问答系统常识推理能力的方法。首先,提出了一种面向Concept Net知识图谱的知识选择方法。该方法基于置信度为常识问答数据集提供最相关的Concept Net常识三元组。同时,提出了一种基于KGALBERT的Concept Net实体预测方法,补充了Concept Net的常识性知识。最后,基于预训练模型,论文设计并实现了融合知识图谱的事实问答模型。实验结果表明,相比其他模型,该方法能更有效地利用知识图谱进行常识推理。