随着社会信息化高速发展,每天都会有包含丰富的知识和信息的大量文本数据产生。使用计算机和自然语言处理技术进行自动的语言分析和文本处理,推动着人类生产生活的高速发展。然而,要进行自然语言处理就必须将语言的基本成分转化为计算机可以识别的数学表示。上下文相关的词表示方法的提出解决了传统预训练静态词向量表示无法解决的“一词多义”问题,能够刻画词语在不同语境下的表义变化和其中复杂的语法、语义信息。与传统预训练词向量的方法不同,上下文相关词表示方法的预训练结果为句子语义表示模型,并在应用于下游任务时使用预训练模型参数对样本句的各个词语进行深度语义融合。使句法分析、语义角色标注、自动问答、文本蕴含、阅读理解等多种任务效果得到了显著的提升。中文分词是中文信息处理重要的基础任务,前人的方法基本都基于词向量表示进行建模,难以克服上述诸多弊端。本文从中文分词问题出发,利用上下文相关词表示的预训练模型构造了分词模型,并在多个中文分词数据集中进行了实验。得益于上下文词表示预训练模型深度语义融合带来的强大泛化性,我们的模型相较传统模型在分词性能上得到了显著地提升。模型领域迁移问题也是我们的研究的重点,由于自然语言的领域歧义性特点,通用语料训练的模型在专业领域上存在性能严重下降的问题。而专业领域数据往往难以获得。如果可以将通用领域知识或模型更好的迁移至专业领域应用,便能够解决以上问题。我们对上下文相关表示构建的分词模型进行了领域迁移实验,并在不同迁移数据集规模上与传统分词模型进行了详细的对比。结果表明,基于深层上下文表示的分词模型在跨领域泛化能力、迁移能力上都远高于传统模型,并且能够在数据量更少的情况下更稳定地进行高效迁移。这种深度上下文表示模型是基于无标注语料构造的,难以与其它有效特征进行深度融合,简单的隐层拼接往往无法带来很好的效果。而且,由于其模型构造复杂,存在内存和计算资源占用过多,预测速度慢等问题。本文使用多任务学习来解决这一问题。一方面,我们使用多任务联合学习对上下文相关表示模型增加特征知识,这使得特征知识相互迁移融合,相比独立训练与简单特征拼接模型达到了更优秀的性能;另一方面,多任务模型由于共享了表示模型和隐层计算,从而大大加快了多任务文本分析效率。