随着社会发展,人们对汽车的需求增大,自动驾驶成为研究热点。随着深度学习的深入研究,计算机视觉基础任务之一的语义分割发展起来,被应用于遥感卫星图像分割、医学图像分割、农田分割及自动驾驶等领域。本论文研究道路场景数据集下的语义分割算法用于自动驾驶。道路图像语义分割存在一些难点:1.自动驾驶对前方道路图像的处理速度有很高的要求,现有的分割方法很难权衡速度和精度两个方面。2.语义分割是像素级任务,对提取的特征要求较高,仅使用深层特征不能满足要求。3.语义分割的数据集标注工作量大,如何利用有限的数据集达到更好的效果是研究的一个方向。针对这些难点,本文对应提出了三种模型:一.权衡速度和精度,提出了分解-规则卷积实时语义分割网络Factorized and Regular Network（FRNet）。FRNet使用非对称编码-解码结构在提高速度的同时提高了精度,编码器充分提取特征,简洁的解码器结构恢复特征,最终实现像素点到像素点的分割。网络中的核心模块是分解-规则块Factorized and Regular block（FR块）,采用三个分支包括残差分支、非对称分解卷积分支和规则卷积分支,这三个分支各自发挥其作用,使网络满足自动驾驶实时性、准确性的语义分割要求。二.为了利用不同阶段的特征来提高像素级语义分割任务的精度,在上述网络FRNet的基础上添加了两个分支构造成了新的网络:多阶段特征提取融合网络Multi-Stage Feature Extraction Fusion Network（MFNet）。FRNet 的编码器作为粗粒度分支提取深层抽象信息,引入注意力分支对图像像素点赋予权值,使重点信息得到关注,在浅层网络引出细粒度分支,保留浅层细节信息。最后通过特征融合模块对这三个分支（粗粒度、注意力、细粒度分支）得到的多阶段特征融合后,上采样生成分割图,精度得到提升。三.为了在有限的数据集上取得更高的精度,提出了一种经过改进的语义分割对抗性生成网络 Semantic Segmentation via Improved Generative Adversarial Network（SSIGAN）。在生成网络和判别网络的博弈中,判别网络不断提高自身的判别能力,迫使生成网络生成更逼真的分割图。改进的生成对抗网络,在生成网络中将部分规则卷积替换为非对称分解卷积,弥补判别网络中信息的损失;将原图和待判断的图级联后共同输入判别网络,提供基准来提高判断准确率。实验表明,改进的对抗性生成网络比单独的生成网络达到了更好的效果,在有限的数据集上取得了更高的精度。本文研究出了三种道路场景数据集下的语义分割算法,解决了道路图像语义分割存在的一些难点,可以进行场景感知,为自动驾驶提供语义信息。