网络协议识别是指根据协议或者某种应用产生的流量中包含的代表性特征对协议进行分类,确定该协议所隶属的应用层协议。研究出高效的识别协议的方法对于提升网络环境的安全以及网络通信的管理有重大意义。然而网络环境中不断涌现出的各种不知名的、未公开的通信协议,使得现有的大部分网络协议识别方法都不再满足实际需求。所以识别未知协议成为协议识别领域亟待解决的问题。针对未知协议的识别,无监督学习算法中的聚类方法成为其中一个热点研究课题。结合传统的基于负载的协议识别方法,以应用层协议数据为研究对象,论文在前人的基础上提出了一种基于AGNES层次聚类算法的自适应聚类未知协议识别方法。该方法以协议数据的负载特征为基础,基于相似度对协议进行分类。首先在对数据进行预处理中,通过流重组获得应用层协议单向数据流,针对文本型协议利用切片操作有效过滤掉噪声数据对相似度计算的影响,用切片集之间的相似度代替协议数据间的相似度,根据相似度进行聚类得到最终的簇集合,且结果中含有相似度值作为聚类效果评价标准。论文还对AGNES算法中的相似度计算方法进行了改进,将相似度计算划分为聚类前和聚类中两个部分。该划分有效的避免了应用层协议数据间相似度的重复计算,提高了算法的效率。该方法克服了传统协议识别算法需要先验知识的缺点,而且不需要训练过程,提高了时间效率。而且也克服了现在的大部分聚类算法需要提前确定目标簇数量的缺点,论文所提方法可以自适应确定目标簇数量。经过实验证明,改进后的聚类算法能够实现识别未知协议的目的,而且相对改进前的算法,效率得到了显著的提升。