现实生活中人类的各项活动都受到天气的影响,无论是农业,养殖业还是交通运输业。尤其是极端天气总给驾驶带来潜在风险,导致人们的生命和财产陷入极大危险。近年来,各国政府和消费者都深刻认识到降低事故频率、减轻事故伤害的重要性,消费者对汽车安全性的重视度也越来越高。因此,实时及密集地获取当下天气信息,对天气进行识别在交通预警,汽车辅助驾驶,气候分析等应用中起着重要作用。为了提高在恶劣天气下机器视觉的准确率,可靠的天气识别系统是必要的。天气图像识别是计算机视觉中的一个新课题,不同于目标及场景识别问题,天气识别需要学习更多物体和场景表面的光照、反射等复杂现象。且由于天气特征的多样性,多变性和彼此高度依赖的特点,使得课题研究一直极具挑战性。目前,该课题都是在基于天气图像清晰且有明确天气特征的假设下进行的,造成了现有天气分类模型在更加复杂的天气图像上分类性能的局限性。本文针对在多类别天气图像分类算法研究中现有天气图像库的不足及提取更加具有辨识度的天气特征的难点,主要工作和贡献如下:首先,构建了更接近实际情况的多类别天气图像库(AMWI),包含晴天、多云、阴天、雨天、雪天和雾霾天六类天气,包含天气图像对应的实时天气指数特征;针对天气图像库中不同类别间图像数量不平衡的问题,我们利用循环一致对抗神经网络(Cycle-Consistent Adversarial Networks)使用图片数量多且背景更加多样化的晴天天气图像进行天气图像类别转换,扩充其他天气类别图像的样本,以避免造成天气图像背景单一的问题。考虑到基于天气图像分类研究的驾驶辅助系统中列车轨道天气图像库的缺失,本文还构建了从视频中获得的包含晴天和阴天两类天气的列车轨道天气图像库(RTWI)。其次,提出了两个天气图像分类模型以提取出更具有辨识度的天气图像特征,本文首先提出了一种融合天气图像特征和实时天气指数特征的多类别天气图像分类算法,结合天气图像特征的实时性及天气指数特征的准确性用以提高天气图像分类的准确率。此外,进一步提出了一种基于组套索结构的多任务天气分类算法,将每类天气视为一个任务,并通过组套索正则项获取天气特征的组关系,以进行特征选择,提高天气分类的准确率,为检验本文提出的多任务学习天气分类框架在交通场景中的应用效果,我们还在轨道天气图像库上进行了对比实验,实验结果验证了所提框架的有效性。