互联网通讯技术的快速发展和网络规模的扩张使得网络中出现越来越多的应用程序,除了已知的应用流量外,还有大量未知的、私有的或者恶意的网络流量,这对网络安全提出了巨大挑战。另外,网络流量识别是与各种网络安全应用程序有关的基本问题,例如入侵检测和防御系统、网络管理系统等,通过对网络流量的精准分析,可以检测恶意流量的攻击,及时采取应对措施,并根据统计结果合理配置网络资源以提供更优质的网络服务。然而,随着流量加密技术和私有协议的普及,以及网络流量和网络应用数量的大规模增长,部分传统的流量识别方法逐渐失效,更加精准和高效方法的提出越来越成为满足现实网络流量识别任务需求的迫切需要。本文针对提升复杂网络环境下流量识别准确率和识别过程自动化程度的问题,围绕网络流量数据包的图像化、流量图像特征的自动化提取、资源有限情况下的未知流量识别,以及智能流量识别系统的设计与实现这四个方面展开研究,主要研究成果如下:1.提出了一种新的网络数据包到流量图像的转换方法。为了使深度度量学习方法能够适应流量数据的特点,本文首先研究了网络流量数据包的图像化,使得网络中的流量数据包转化成卷积神经网络能够识别的图像形式。文中分析了网络应用数据流特性以及解析了数据包数据帧结构,提取传输层和应用层的数据作为流量识别的关键信息,将所提取信息展开为二进制编码并按特定规则映射为灰度图像。实验验证了该方法在设计上的合理性,相比其他流量处理方法,本文方法可以达到更高的识别准确率。2.提出了一个基于深度度量学习的流量特征提取方法。为了实现自动化提取流量特征的目的,本文利用深度神经网络模型自主学习流量图像的特征。该网络将低维特征嵌入作为输出,通过L2三元损失函数从网络的角度直接优化特征嵌入本身,优化后所得特征嵌入即为流量图像特征。另外,在网络模型设计上,本文针对流量识别任务做了一些适应性的改进。包括特征嵌入的L2标准化,使得特征在空间上有更规则的分布,以及通过选择性损失函数计算方法改善深度度量学习中容易遇到的梯度下降困难的问题。上述方法有效提高了该特征提取方法在流量特征学习和提取上的效率。3.提出了一种基于卷积神经网络（Convolutional Neural Networks,CNN）预训练模型的未知流量分类识别方法。为了加强未知流量特征的表征识别能力,也为了解决流量数据有限、训练资源有限的问题,本文使用在Image Net数据集上训练的具有迁移特性的CNN预训练模型提取流量图像的特征。在模型设计上,文中通过去掉CNN预训练模型的分类层,使网络直接输出流量图像的特征嵌入,然后结合t分布随机近邻嵌入（t-Distributed Stochastic Neighbor Embedding,t-SNE）和K-means混合聚类算法,使特征降维聚类,进而实现未知流量的分类识别。该方法是深度学习在未知流量分类任务上的一次有效尝试,是在缺乏数据和训练资源情况下实现未知流量分类的一个可行的解决方案。4.设计并实现了一套智能的可自主学习的流量识别系统。为了更好地适应复杂的网络环境,以及实现流量识别过程的自动化,本文在基于深度度量学习的流量特征提取方法的基础上,结合流量识别算法设计并实现了一种实时、高效、智能的混合流量识别系统。该系统根据流量识别算法的设计,通过已知流量识别算法,实时反馈已知流量类别,区分未知流量,并通过未知流量实时分类算法,能对未知流量内部加以细分,同步更新未知特征数据库中的未知特征信息,通过特征积累提高系统对未知流量的识别能力。该系统能够自动提取流量特征,有较好的混合流量识别能力,可以适应复杂、高速变化的网络环境。