人机对话技术无论是在学术界研究领域和工业界应用领域都受到学者青睐。传统的对话系统大多是基于数据库实现的,这些系统内置有回复语句,基于规则和检索因而响应速度迅速,在早些年很受工业界的青睐。然而,受限于数据库中答句数量与质量,其应用范围有限。随着深度学习技术与自然语言处理技术的发展,半监督的深度学习框架能够使对话主题和意图进行进一步地扩充,对话系统准确度、流畅性有一定提升。但依旧存在缺陷,如Transformer架构无法直接做到时序自回归,单向语言模型GPT-2在使用掩码语言建模（MLM）时,会将后面的序列掩码掉从而避免模型得到后面的信息,仅能依赖前面的词汇来预测后面的词汇,这使得该语言模型建模能力有所欠缺。并且原生GPT-2中使用的Transformer解码器的逻辑为采用基于输出的可能性最大化的Beam Search解码方法,其生成的文本存在语言平淡、连贯性差、语义重复等问题。针对以上问题,本研究着眼于取检索之长补生成之短,将检索式模型融入生成模型中,构建联合模型进行对话生成。通过向模型引入上下文背景信息,对语言建模能力尚有欠缺的问题进行改善,从而提升语言模型执行的任务的效率与质量。研究基于GPT-2改造两个模型,称为GPT2DH模型与GPT2LM模型。GPT2DH模型共有两个阶段,分别是语言建模和下一句子预测任务。以利用那些易于获取、数据量大开放域的无标注对话数据,训练的基于端到端结构的端到端对话系统。GPT2LM模型去掉了下一句子预测任务,采用GPT2的语言建模模块进行后端任务的迁移学习,目的在于解决容易生成式对话系统容易产生不可靠和无意义的回复的问题。同时GPT2DH模型在GPT2LM基础上还增加了一个分类的设计,分类任务则是用于预测系统生成的答句是否是问句的匹配答句,用于提升模型生成语句的准确性。对所构建的两个模型即GPT2DH及GPT2LM模型进行有效性评估;使用BLEU,ROUGE,困惑度等客观指标对生成的系统进行测试及分析。研究统计发现,GPT2DH模型与GPT2LM模型在三个语料库预训练后的答句评测数值都远高于基于信息检索的语言模型。模型的有效性评估结果表明GPT2DH及GPT2LM两个语言模型在BLUE、ROUGH指标上超过基于信息检索模型的5倍,是seq2seq模型的2倍。在困惑度指标上,是seq2seq模型的1倍。与自然语言生成中的SOTA模型BART进行对比分析,GPT2DH与GPT2LM模型在BLEU指标上1-4阶都相较于BART模型更高,所构造的GPT2DH与GPT2LM模型对话系统生成的语句与真实回复的语句相似性更高。在ROUGE的三阶指标上,也相较于BERT模型略高,这表明,构建的对话系统相对传统方法在对话准确性,回复的语句雷同比率降低等指标得到了提升。回复重复、逻辑混乱的问题得到了一定改善。最后,摘录了模型生成的语句中不合逻辑、答非所问的情况,对其分析并提供及相应的改进措施。