网络流量异常检测作为一种有效的主动安全防范手段,能够为已知和未知网络攻击行为的探知提供前提支撑,是信息安全领域的重要研究课题之一。随着网络的广泛使用,网络数据信息量爆炸式增长,网络流量数据越来越呈现出流量大、特征维度高等特点,同时网络面临的攻击的种类也日益繁多、行为日益复杂。在此背景下,为了适应网络发展的新环境需求,人们一直在不断追求网络流量异常检测技术的性能提升。就网络流量异常检测而言,目前主流的方法是利用特征优化选择结合分类判决来进行流量检测,但不论是特征选择还是分类判决环节,网络流量异常检测技术都还存在进一步性能提升空间。鉴于此,本文从机器学习角度出发,基于学习自动机(Learning Automata,LA)理论,利用学习自动机在随机环境中的自适应学习和寻优等能力,进一步深入研究性能更好的基于学习自动机的网络流量异常检测技术。首先,从特征选择性能提升角度,针对复杂多维化的网络流量特征所具有的潜在冗余性,在分析特征相关性和冗余性以及构建协作式学习自动机模型基础上,提出了一种基于协作式学习自动机的特征优化选择方法,并进一步结合支持向量机(Support Vector Machine,SVM)形成了一种有效的网络流量异常检测技术。实验结果表明,该技术能够降低用于异常检测的网络流量特征维度和复杂度,有效提升了网络流量异常检测性能。其次,考虑到异常检测技术中分类判决的分类器通常需要预先用样本训练,而整体网络样本大数据量训练从训练速度和精度效果上都存在局限性,鉴于将整体网络流量样本划分为小流量类别用于训练有助于缓解上述局限性,在分析现有相关基于划分的聚类方法基础上,并考虑学习自动机具有很好的自适应学习能力,提出了新的基于学习自动机的样本数据聚类方法。该方法将作为后续研究工作的基础之一。实验表明,该方法可以稳定地对具有不同复杂度、不同属性的样本数据执行聚类任务,并具有较好的通用性。最后,从分类判决性能提升角度,考虑更精细化的异常检测方法,分析了基于决策树的分类判决方法,并进一步结合前述研究成果,从同时提升特征选择和分类判决性能角度,给出了一种结合特征优化选择、样本聚类以及决策树的多类别混合式网络流量异常检测方法。实验结果表明,该方法相比于面向整体网络流量的异常检测方法,具有更高的检测准确率。