随着我国信息化建设的推进,网络基础设施的不断完善和各种网络应用的普及给我们的生活带来诸多便利的同时,企图对网络进行入侵或破坏的各种网络异常行为也在不断增加。网络异常行为检测有利于及时地对异常情况进行预警和响应,避免或降低异常行为所带来的损失。如何对网络异常行为进行有效检测已成为网络安全领域的重要研究课题。网络行为通常以包和流作为数据载体,近年来基于包的网络异常行为检测和基于流的网络异常行为检测是两个非常流行的研究方向。本文以网络包和流为研究对象,分别对基于包和基于流两个方面的网络异常行为检测问题展开研究。现有基于包的网络异常行为检测方法能够基于机器学习模型自动提取包的异常特征,然而这些模型在面临异常特征分布较为分散的异常包时,往往难以提取包中前后关联的异常信息。针对该问题,本文提出一种基于深度包分析的网络异常行为检测系统,对包中的长时依赖信息进行深度特征学习和检测。该系统通过一种块序列构建方法,对包的高维信息和潜在序列信息进行有效表达;在块序列构建基础上,利用基于LSTM和CNN的神经网络分支和基于多头自注意力机制的神经网络分支,分别从局部角度和全局角度对块序列中的潜在关联信息进行学习;最后,利用基于加性注意力机制的异常检测器融合两个神经网络分支输出的特征并检测异常包。该系统无需依赖专家知识,能够对包进行毫秒级快速检测,检测性能优于其他对比方法。基于流的网络异常行为样本的标注或生成大都需要深入的专家知识,在实际场景中获取大量用于有监督训练的实际异常样本非常困难。现有基于无监督或半监督的方法虽然能够在缺乏大量异常标注的情况下进行检测,但由于未能充分利用有标注样本中的相关知识或者容易对少量异常样本产生过拟合,方法性能往往受限。针对上述问题,本文提出一种基于流特征编码的网络异常行为检测方法,将输入样本编码为一种对异常检测更有效的特征表示。该方法利用自动编码器获得输入样本的编码表示,使异常样本与正常样本之间的差异性更为显著;在流特征编码基础上,通过一个基于半监督学习的网络异常行为检测模型融合样本的编码表示,利用少量有标签异常样本和大量无标签样本训练异常检测模型。实验结果表明,所提出方法相较近年来的几种方法表现出了更优的性能。