近年来深度学习的技术得到了广泛的应用与发展,也自然而然的应用在了自然语言处理的任务中,随之产生的预训练模型也因此得到了更为广泛的应用。无论是在句子的提取还是在文本的情感分析中,预训练模型都发挥了极其重要的作用。随着预训练模型的发展与成熟,利用大规模的语料库来进行无监督预训练模型的方式被证明是能够有效训练数据模型的最优方式。预训练模型将自然语言处理带入了一个新的时代,预训练技术也成为自然语言处理领域不可替代的主流技术。最近,一些基于变换器的架构,如BERT模型等,在许多自然语言处理任务中都提供了令人印象深刻的结果。然而大多数模型采用的基准都是由数量庞大的样本所构成的,这些样本有时甚至可达数十万个,这导致在许多实际场景中想要获得高质量的标签数据需要极大的时间成本。在与自然语言处理任务类似的图像处理任务中曾经提出过一种十分有前景的方法来实现无监督学习,该方法使用生成对抗网络对数据进行处理。本文中为解决自然语言处理中存在的问题,对上述两种类型的模型进行改进后,对数据处理进行研究,采取半监督学习的方式,在有标签数据占比较小的情况下完成原本需要大量标签数据才能实现的数据处理任务,解决了在大数据处理过程中获取足量标签数据的成本问题,同时保证了实验的结果的准确度,造成的误差损耗也相对较小。本文所做的主要工作内容如下:首先,改进模型的池化方式,将隐藏层的序列转化为一条向量,沿着序列长度的维度分别求出均值和最大值,之后再拼接起来成为一条向量,经过同样映射后形成一个值并激活,有效防止过拟合。其次,对字典字数进行调整,设置新的隐藏层维度、注意力机制的个数、feedforward层线性映射的维度等各项指标对BERT模型进行精简,提高了模型的运算速度,改善了模型的训练周期等。同时,对数据处理方面归一英文、数字、未知字符掩膜表示,在针对中文进行分类处理的任务中,可以减少特殊字符对实验结果造成的误差。再次,将精简后的BERT模型与无监督模型GAN模型相结合实现半监督训练,提升了数据处理的精度,尤其在样本量巨大的情况下,半监督模型可以极大的节约时间成本,但是却不影响实验结果的准确性,甚至可以达到更高的准确度。最后,使用四个不同任务的公开数据集进行正负面评价分类等多种不同任务的自然语言处理,通过数据集各自的特性,采用相应的评价标准对模型的实验结果进行验证,并证明了模型的有效性。