随着软件安全漏洞数量的逐渐增多,漏洞挖掘技术日益受到研究人员的关注,模糊测试技术是目前使用最广泛的一种漏洞挖掘方法。现有模糊测试方法在协议漏洞挖掘上存在着难以评估测试完成情况、测试用例命中率低、无法自动化解析协议等缺陷,使得模糊测试效率非常低下,难以发现更多的安全漏洞。针对现有模糊测试技术在测试用例生成和自动化协议解析上的不足,借鉴演化测试的思想,在模糊数据的生成过程中引入遗传算法以搜索最符合协议规约的测试用例,设计了一种演化模糊测试方法,以实现自动化协议模糊测试。针对网络交互数据的特点,设计实现了演化模糊测试中使用的遗传算法,包括模糊数据的编码方式、测试用例集的初始化、适应度函数的设计、会话及会话池的交叉变异方式等,讨论了演化模糊测试基本跟踪单位的选择方法,并制定了模糊测试的启发式变异规则。借助静态分析工具IDA和逆向分析框架PaiMei,在GPF框架的基础上,结合演化模糊测试思想,设计实现了演化模糊测试器。使用演化模糊器在Golden FTP server上进行了三组漏洞挖掘实验。对三组实验测试用例的适应度值和发现的异常进行了详细的分析和比较,总结了影响实验结果的各种因素。实验结果表明,演化模糊测试方法通过不断提高模糊数据的代码覆盖率,可以进行自动化协议模糊测试。由于代码覆盖和路径覆盖还是存在较大的差异,演化模糊测试如果要覆盖所有的攻击接口,还需要进行路径覆盖分析。