随着互联网技术的发展和社会信息化程度的不断提高，网络逐渐成为人们生产、生活中不可缺少的一个部分，网络安全的重要性受到了越来越多的关注，各种各样的安全产品被应用到网络中来加强和维护网络的安全运行，但这些安全手段一般只能在一定范围发挥特定的作用，互相之间缺乏有效的数据融合和协同管理机制。面对众多分散的信息，网络安全管理人员无法及时对安全事件做出回应。出于从整体把握网络安全现况及变化的目的，网络安全态势感知技术应运而生，成为网络安全研究中的新热点。目前大部分的网络安全态势感知研究以入侵检测设备、入侵防御设备、防火墙和主机等的日志为数据来源，而对于较大规模的网络来说，使用日志作为感知数据源会遇到处理代价高、融合难度大等问题，使得原有的研究成果很难向较大规模的网络推广。本文从网络安全态势感知模型、安全态势信息获取、安全态势要素提取、安全态势评估指标和安全态势评估方法五个方面研究适用于大规模网络安全态势感知的关键技术，研究内容有：1.针对现有网络安全态势感知模型、算法在应用到大规模网络上的不足进行了分析。针对多源和以日志为主的态势信息来源在应用到大规模网络安全态势感知时处理代价高、实时性差等缺点，将态势信息来源确定为网络数据流，并紧紧围绕如何从网络数据流中提取态势信息进行态势感知的问题进行了深入的研究，提出了基于流的层次化大规模网络安全态势感知模型，并在此基础上从安全态势信息获取、安全态势要素提取、安全态势评估指标选取和安全态势评估算法方面提出了相应的解决方案。2.提出了通过网络数据流多层次的异常检测获得态势信息的方法，从面向网络的数据流和面向主机的数据流两个方面进行了研究，通过分析选择了组合多分类算法中的随机森林和TreeNet为本文异常检测时使用的算法。针对整个网络入口处数据速度快、数据量大、攻击和异常数据量相对较小的问题，提出了一种基于改进非广延熵和双随机森林的异常检测方法。该方法对一个时间窗口的数据包，采用概要数据结构快速记录部分属性的统计信息，用改进的非广延熵将每一个统计量分解、放大以发现少量异常原本不明显的特征，结合随机森林强大的分类检测能力和快速并行决策方式对面向网络的数据流进行实时的异常检测。在分支网络中，为了全面的了解每一个主机是否受到某类安全事件的威胁，针对面向主机的服务请求流和服务应答流分析了安全事件对流属性的影响，构建了各自的特征集。针对流数据按时间窗口划分进行异常检测时，在不同时间窗口，同种安全事件特征易发生波动的问题，选择了善于捕捉非线性数据结构的TreeNet算法作为分类检测算法，对面向主机的数据流进行准确的异常检测。3.提出了通过不同层次流量异常检测结果进行对比提取安全态势要素的方法。一是在面向网络的数据流与每个分支网面向主机的服务请求流检测结果之间进行对比；二是在面向主机的服务请求与服务应答流检测结果之间进行对比。通过对比，在对检测结果逐步验证得到准确的安全威胁态势要素的同时，也得到了安全防御方面的态势要素。4.通过对常用网络安全态势评估方法的分析，结合本文大规模和实时性的应用背景，制定了定量指标的态势评估方法，从安全威胁、安全防御两方面有针对性地提出了实际安全威胁指数、理论安全威胁指数、安全威胁范围指数、安全威胁可控度指数、安全设备总体防御指数和网络主机综合安全防御指数六个指标用于对网络整体安全状况的评估。设计了从态势要素得到指标定量结果的计算方法。并通过实验证明了评估的客观性、准确性和有效性。