如今,机器学习模型在解决各种实际应用时表现出了强大的能力,例如图像分类、机器翻译、语音识别等。然而,训练一个性能卓越的模型需要大量的标注数据和计算资源,这使得当有标记数据严重稀缺时,机器学习方法的性能会受到严重影响。为了减少标注的代价,模型复用和半监督学习技术被广泛的使用在实际中并取得了显著的效果。然而,对于希望部署机器学习模型的用户来说,这两大技术仍然具有局限性:1)模型复用对机器学习模型性能的提升有限;2)半监督学习中的神经架构需要专家调优。本论文围绕着两个问题,主要取得了如下新进展:1.本文提出了一种基于主动模型复用的快速性能提升方法Ac MR。与直接的模型复用不同,在目标任务中标记的例子不足时,Ac MR通过预训练模型来充当样本从而帮助增强主动学习器。另一方面,与只使用目标任务信息的传统主动学习不同,Ac MR利用预训练模型省去了传统主动学习不必要的查询,因此与传统主动学习相比节省了大量的查询。最后,在学习过程中,预训练模型与目标任务之间的关系不断更新,从而能够更准确地预测未标记的样本。理论分析保证了Ac MR方法的有效性,并且在三个迁移数据集的实验结果验证了Ac MR的性能明显优于直接模型复用和主流的主动学习方法。2.本文提出了一种基于架构优化的深度半监督学习方法DSSLAO,该方法的优势取决于以下三个方面。首先,充分利用了可微分的架构搜索的优势,从而为深度半监督学习提供了一种高效的架构优化而不需要专家调优。此外,DSSLAO还引入了架构梯度的无监督损失项,帮助神经架构向更精确的方向优化。最后,DSSLAO通过增加未标记验证数据和其增强验证数据之间的一致性损失以提供一种更好的神经架构性能度量,鼓励搜索到的神经架构具有更好的泛化性能。在两个常用的NAS基准数据集、CIFAR10和SVHN数据集上的大量实验结果验证了DSSLAO的有效性,它显著提升了深度半监督学习的性能。