机器阅读理解,是自然语言处理的一个子任务,旨在让机器阅读、理解人类语言文本并回答相应问题,是自然语言处理与人工智能领域内最具难度的挑战之一,有重大的研究价值。近年来,随着大规模阅读理解数据集的发布以及深度学习技术的快速发展,机器阅读理解相关研究取得了令人瞩目的进展,但仍然面临诸多挑战:1)现有模型结构存在注意力冗余和语义融合粒度粗糙的问题;2)现有序列模型缺少辅助验证和决策;3)现有方法未充分发挥预训练模型的作用;4)现有训练数据集的构造存在高成本的问题。本文聚焦基于深度学习的机器阅读理解的研究,从注意力机制、对抗生成网络、预训练、问题生成等方面进行了深入研究,主要工作如下:第一,针对当前模型结构存在注意力冗余和语义融合粒度粗糙的问题,提出了一种全关注双向注意力融合架构模型（DIM）。该模型采用了多阶段、层次化处理,同时融合问题理解和全关注注意力,充分融合各层语义信息,捕获不同粒度的特征。在三个公开的抽取式机器阅读理解数据集上分别进行了验证。实验结果充分表明,DIM可以显著提高准确性,验证了全关注双向注意力机制的有效性。第二,针对现有模型单一且缺少辅助验证的问题,提出了一种面向多选机器阅读理解的神经网络架构模型（McGAN）。该模型借鉴生成对抗网络（GANs）的思想,分别设计了生成式机器阅读理解模型和判别式机器阅读理解模型,采取对抗训练方式使模型之间进行相互竞争和平衡,充分利用两种模型的各自优势以取得最优解。在三个选择式阅读理解数据集上的实验显示,McGAN架构大幅度提高了多选类型答案的精度,进而提升总体性能。第三,利用预训练机制,提出了一个面向特定领域（金融领域）的预训练模型（FinBERT）。通过构建涵盖更多知识的六个预训练任务,同时在通用语料库和金融领域语料库进行了多任务学习,FinBERT模型能够有效地捕获语言知识和领域信息。此外,针对FinBERT使用混合精度训练方法在Horovod框架上进行分布式训练,既保证了稳定的加速比,同时也具备良好的扩展性。FinBERT模型在包括金融机器阅读理解任务在内的多个金融数据集上均取得了大幅度提升。第四,针对构建标注训练数据非常昂贵的问题,提出了一个基于神经网络的问题生成模型（SiriQG）。该模型基于强化学习的深度语义增强神经网络架构。通过提出的分层融合注意力机制和高性能的混合评估器,将句法约束集成到注意力机制中,更好地对答案信息和文章信息进行建模。在两个公开的问题生成数据集上进行了实验验证,实验结果表明SiriQG模型可以显著提高问题生成的流畅度和模型准确性,验证了基于语义增强的问题生成模型的有效性。