药物治疗对于人类的生命健康起着至关重要的作用。而药物研发过程复杂且漫长,需要投入巨大的人力和研发经费,高昂的研发成本最终影响到药物的价格和患者对治疗方案的选择。分子属性预测是新药发现中的一个重要环节,可以辅助研发人员发现候选药物,加快药物研发速度,从而降低研发成本。目前,深度学习技术在药物研发领域中的应用取得了一定的成果,不断地提高分子属性预测的准确性和可靠性成为了科研人员的主要追求。本文主要研究分子属性预测问题。为了缓解有标签化合物数据的数量限制、提取高效的分子表示,本文使用预训练的语言模型从大规模的无标签化合物语料库中学习化合物的知识,然后将学习到的知识迁移到小规模的有标签数据集上。具体地,本文的主要研究工作分为以下两个部分。为了编码分子中的子结构特征,本文提出了基于分子指纹的分子属性预测模型（Fingerprints-BERT,FP-BERT）,该模型使用堆叠的Transformer编码器从化合物语料库中学习双向的分子表示。有标签数据集中的每个化合物被表示为一组分子子结构,使用预训练后的FP-BERT模型编码分子指纹中的子结构,在得到学习的分子表示的基础上构建基于卷积神经网络（Convolutional Neural Network,CNN）的预测模型进行有监督学习。为了构建更加全面的分子表示,本文提出了多视角的分子属性预测模型（Multi-View Molecule BERT,MV-Mol BERT）,该模型融合了不同分子编码之间的信息。MV-Mol BERT分别从SMILES（Simplified Molecular Input Line Entry Specification）角度和分子指纹角度对每个化合物进行编码,并使用CNN提取高维的特征,之后将两种视图的分子编码进行拼接作为多视角的分子表示。然后,构建神经网络预测模型对分子属性进行有监督的学习。本文在分类数据集（HIV）和回归数据集（ESOL、Free Solv、Lipophilicity、Malaria、CEP）上评估了FP-BERT模型和MV-Mol BERT模型的预测性能。实验结果证明了FP-BERT模型提取分子指纹特征的能力,此外,多视角的预测模型MVMol BERT获得了比FP-BERT模型更优的性能。