近年来基于大规模标注数据的深度学习算法得到了广泛应用,但同时也带来泄露原始信息特别是隐私信息的风险,严重威胁个人、公司和国家的安全。在基于深度学习系统的数据收集阶段、数据发布阶段、模型学习阶段和模型发布阶段,都存在数据泄露的风险,因此在各阶段对数据进行隐私保护处理,实现对隐私威胁的有效防范具有重要的科学研究意义和应用价值。本文主要针对模型发布阶段的隐私泄露风险,研究基于知识蒸馏的训练数据隐私保护方法,并以智慧医疗应用中患者数据隐私保护为背景,分别研究单数据源和多数据源场景的训练数据隐私保护方法。论文主要研究内容包括:单数据源场景下的深度学习训练数据隐私保护方法研究。针对现有保护方法往往只针对特定深度神经网络结构的不足,本文研究一种基于知识蒸馏、与神经网络结构无关的训练数据隐私保护框架。该框架利用教师-学生框架在教师模型和学生模型之间建立屏障,同时在训练学生模型时不依赖任何隐私数据,从而有效保护建立教师模型所使用训练数据中的隐私。面向基于深度学习的命名实体识别的具体场景,在上述隐私保护框架下,设计结合词级别知识蒸馏和结构级别知识蒸馏的方法,实现对教师模型训练数据的隐私保护,同时保证学生模型的性能尽可能和教师模型一致。在Chinese GLUE中文医疗电子病历数据集上的命名实体识别实验结果显示,该方法实现有效的训练数据隐私保护;同时相比于教师模型,学生模型的F1值仅下降0.67%,具备良好的实用性。多数据源场景下的深度学习训练数据隐私保护方法研究。本文研究一种结合多教师蒸馏的训练数据隐私保护框架。该框架分别在不同数据源独立地训练教师模型,然后借助不包含隐私的公开数据,将多个教师模型中的知识蒸馏到一个学生模型,从而保护每个数据源训练数据的隐私安全。针对在此过程中出现的多数据源知识异构问题,本文推导并应用异构知识之间的概率关系,实现多教师模型到学生模型的知识迁移,并有效降低了学生模型的性能损失。Chinese GLUE中文医疗电子病历数据集上的命名实体识别实验结果显示,这一方法实现了多数据源训练数据的隐私保护,同时学生模型的F1值仅下降0.92%,较好地平衡了多数据源场景下的隐私保护和模型性能。