在众多的网络安全防卫手段当中,流量检测是一种较为常用的方法,通过使用特定的技术检测网络的通信流量中是否包含恶意程序的攻击行为,同时可以为网络整体态势的感知提供重要信息,因此一直是国内外在网络安全领域的重点研究方向。早期的流量检测往往基于人工设置的规则,但随着网络中恶意程序的攻击形式愈发复杂多变,这类方法显得较为单一,很难快速适应愈加复杂的流量模式。因此,研究人员引入了机器学习方法以改善这种缺馅,其中,深度学习方法在近几年逐渐被应用在诸多领域中,并表现出优秀的数据模式学习能力,为流量中攻击行为的检测识别指引了新的研究方向。本文针对网络中恶意程序流量的检测识别问题,并提出两种基于深度学习技术的流量检测方法,主要工作如下:(1)由于网络流量的数据模式较复杂,为解决网络流量数据的特征设计难题,本文在经过研究后,选择提取网络原始流量的应用层载荷,针对恶意程序在发起攻击行为时的原始数据进行特征模式的学习。基于此,本文提出了一种基于卷积神经网络的恶意程序流量检测模型,并通过SE-Net网络结构进行特征层面的优化,同时为提升模型的训练效率,引入深度可分离卷积计算方法,使检测模型在USTC-TFC2016数据集上获得较好的检测准度;同时,本文提出基于迁移学习的训练机制,以USTC-TFC2016数据集模型作为预训练模型,令新模型获取其提取的流量特征后结合恶意流量数据集微调,有效提升了该模型的训练效果。(2)本文创新性地在原本卷积网络检测模型的基础上,结合胶囊网络结构进行优化,以此改善卷积网络模型中特征关联信息丢失的特性;将新的模型应用于USTC-TFC2016数据集上进行训练,显示其对于原始流量检测的准确率有了明显提高,证明了胶囊网络结构中保留的特征关联信息对于流量检测的帮助。同时,使用该模型作为预训练模型,使用参数迁移学习方法,结合恶意程序的流量数据进行微调训练,进一步提升了恶意流量检测模型的性能。