深度学习模型的可解释性一直是人工智能领域不可忽略的重要问题,自预训练模型问世以来,该问题更是引起了广泛的关注。目前该领域的发展还处于初级阶段,多数已有的方法只专注于分析模型的预训练过程而忽略了预训练模型的微调过程。而作为将预训练模式应用于具体任务的关键步骤,微调过程具有重要的研究价值。研究能够用于分析预训练模型微调过程的分析方法,能够通过分析预训练模型微调前后的差别了解模型的内部机制和原理。进一步提高模型的应用价值,为未来的模型优化工作提供新的研究视角。本文主要从以下几个方面展开研究:（1）设计不同的训练方法训练并对比预训练模型和微调后的模型。通过对比预训练模型和微调后的模型解决下游任务的能力,发现二者差别明显,且微调后的模型在不同任务中的表现全面优于预训练模型。由此可以得出微调后的模型不同于预训练模型的结论,并提出对微调过程进行分析必要性。（2）根据不同的下游任务进行特征挖掘,并设计特征算法构造相应的数据集用于模型分析。微调过程通常需要结合具体任务的数据集对模型进行训练,因此分析预训练模型的微调过程不可避免的需要结合不同数据集的特点来进行。通过结合两种常见的下游任务数据集中的案例,分析出9种蕴含在各个数据集中的语言学现象,并针对每一种语言学现象设计相应的算法构建对应数据集,创建的数据集可用于分析和对比模型在微调前后的差别。（3）通过对各个数据集特点的总结和归纳,设计出了一种全新的可用于分析模型的成对分析方法。该方法的设计过程中一方面结合了创建的数据集的特点,即每个数据集中都存在的关键词对。通过构造相应的正负例并计算正负例之间的相似度,再使用统计的方法将相似度结果可视化。另一方面,该方法的设计过程还结合了模型的结构特点。该方法能够适用于模型每一层的输出结果,可以通过可视化的方式看出模型每一层相应能力的变化趋势。通过对研究结果的分析发现微调过程对于预训练模型的前5层基本无影响;微调过程对于通用语言学任务帮助甚微,主要提升了特定任务中的特定能力,且特定能力主要蕴含在模型的5层之后;微调后的模型对于复杂语言学现象的识别能力还存在提升空间;微调后模型的不同层具备不同的能力,通过该方法的分析可以帮助指导模型的应用,使模型能力最大化。