随着网络技术的不断发展和广泛应用,互联网络所承载的数据流量不断攀升,其中的信息量越来越大。依赖于网络而生的应用正呈多元化趋势发展,而网络攻击也随之越来越多样化和复杂化。入侵检测技术伴随着入侵行为的不断产生而不断完善,针对各类场景制定相应的防御方案,但是一直被飞速发展的相关技术挑战。目前新型的攻击已经开始使用深度学习技术对抗现有的入侵检测设备,并且更多的使用加密和隧道技术,提高了隐蔽性,从而避开现有的安全防御。这使得未知的攻击行为更难以被检测,造成设备系统数据被篡改或是重要信息泄露等一些难以挽回的损失。为了应对不断涌来的新威胁,本文把UEBA的思想应用到网络流量的异常检测领域。以面向行为的流量分析为基础,深入分析正常用户行为和攻击行为产生的流量特征中与时间相关的特征,从而更全面的刻画正常用户的网络流量行为基线,以发现新产生流量中行为的变化,从而检测攻击和其他异常行为。本文提出运用生成对抗网络模型进行基线学习,该方法可以避开该领域在训练时攻击样本量不足的问题,使用充足的正常用户行为数据训练异常检测模型。本文的训练样本易于采集,模型易于部署,可以针对任意用户、系统或者有IP地址的设备进行部署,该框架检测迅速,并且对多种攻击的识别具有一定效果。本文完成的主要工作如下:首先,分析了网络流量粒度的划分,不同划分方式的优势和劣势,确定研究使用流级别的划分方式。针对传统检测漏报率高,难以检测未知攻击的问题,分析基于行为异常检测的研究现状,又针对检测模型难以处理高维数据的问题,分析基于机器学习方法的异常检测研究现状,再针对特征选择片面和模型通常面向特定场景进行检测的问题,分析了UEBA的框架思想,最终锁定了擅长分析复杂数据类型的基于深度学习的方法。其次,分析了网络流量的表示方式,确定研究使用TCP/IP底层元数据表示上层交互行为。深入分析了正常用户的会话流量特征,提出了用户行为差异的基本表示。以攻击流程划分,剖析了各类常见攻击行为的流量特征,总结了识别攻击行为的显著特征。分析了现有用于入侵检测的网络数据集,指明现有数据集的不足,从而确定通过采集长时间的真实用户行为数据进行模型训练。结合上述分析,提出了一组基于双向流和子流与时间相关的元数据特征,特征为54维,能够较全面刻画并且稳定表示用户的行为。依据特征组合,对采集的正常用户流量和公共数据集中的攻击流量进行提取,形成数据集。最后针对不平衡的训练数据,分析处理此类数据方法的优缺点,最后确定了仅使用一类数据的建模算法。然后,提出了改进的基于双向生成对抗网络的基线建模方法。该模型通过仅学习正常样本,在过程中不断自动优化和学习,为不同的用户建立基线模型。阐述了模型的原理、训练部分的改进、参数选择、各部分的网络结构和训练的过程,最后将数据中的连续型特征和离散型特征预处理为符合模型学习的形式,通过实验对比进行了基线模型的有效性测试,并且确定了适合此类用户的建模时长。最后,设计实现了基于用户实体行为的异常行为检测系统,并且对性能进行了测试。将系统应用于真实采集的实验室用户流量和公共数据集中的7类攻击流量,实验结果表明,该系统能够通过构建的不同用户的行为基线,产生不同的检测效果。检测速度很快,对部分攻击产生了极好的检测效果,验证了方法的可行性。