随着网络应用的不断发展,网络协议的种类也变得越来越丰富。除了大量标准化、公开的通信协议以外,网络上存在着大量的私有协议,各个软件厂商出于经济利益、安全隐私等因素的考虑,并没有公开协议细节。而目前已有的协议识别系统在性能上、准确率以及鲁棒性上仍然无法满足要求。因此,私有协议的识别工作在网络安全领域具有重要意义。论文以推断私有协议的完整协议规范为目标,充分考虑到当前的私有协议识别工作中存在的严重依赖人工分析、无法有效获得字段语义等缺陷,采用多种方法对私有协议识别工作进行深入研究,论文主要工作包括:（1）提出了一种基于递归分析的私有协议格式主动提取方法,该方法在对数据集预处理后,对分类好的每一类会话,只递归地对同一段样本进行多序列比对以及语义推断工作,有效地地缩短了协议报文字段识别消耗时间。随后利用改进的多序列比对方法主动识别协议字段,增加了基于语义信息的相似度矩阵打分规则。利用该语义信息,准确识别了协议类型字段以及部分报文关键字段。（2）提出了一种基于报文序列的协议状态机推断方法,该方法首先基于统计学的方差分布思想主动挖掘协议类型关键字,并采用Mealy自动机与字典树相结合的方式构造初始协议状态机。为解决状态机中协议状态冗余的问题,论文采用Blue-Fringe算法精简冗余状态,并输出完整的协议规范模型。本文实现了私有协议主动识别系统,并选取了FTB、SMB、私有协议三种协议对其进行实验。实验结果表明,基于改进的多序列比对方法在加入新的相似度打分机制后,与传统的PI、Netzob等方法相比,本文提取出的协议格式更符合实际报文规范,协议字段识别的平均准确率达到了74.7%;与Netzob方法相比,本文提出的协议状态机方法精确率高出了3.0%,在召回率上高出了2.1%,有效解决了协议状态的冗余问题。