Internet蠕虫自诞生以来就给计算机网络造成了巨大的破坏，同时也给经济造成了巨额损失。为了应对网络中的入侵行为，网络安全专家开发了入侵检测系统。目前各种类型的入侵检测系统运行于网络中，保护我们的网络免受蠕虫和黑客入侵的危害。误用入侵系统以其高效率、高准确性的特点一直广泛的应用在网络中。误用入侵检测系统的检测能力在很大程度上取决于攻击特征的数量和质量，提取什么样的特征码，如何提取这些特征码是入侵检测领域的一大研究重点。对于检测蠕虫和其他病毒，当前的入侵检测系统大都使用单一的连续字符串作为某蠕虫的唯一标识。这些入侵检测系统都基于一个共同的假设：每种恶意代码的代码体中都存在一个相同的不变字符串，该字符串可以唯一的标示某种恶意代码，并被叫做该恶意代码的特征码。然而变形蠕虫的出现，使得恶意代码中不再存在这种可以唯一标示该恶意代码的字符串。面对变形蠕虫，传统的入侵检测使用的特征码和检测手段已不再适合。本文总结了已有的蠕虫自动检测研究成果和发展现状，给出了典型的蠕虫自动检测系统的系统结构和检测流程。文中具体分析了已有的个别经典的蠕虫自动检测系统，并找出了其中存在的缺陷。现有的蠕虫特征码自动监控系统通常有以下几个模块组成：可疑流量捕获模块、可疑流量聚类模块、特征码提取模块和特征码匹配模块组成，这几个模块分别涉及了不同的技术和算法。为了提高蠕虫自动检测系统检测变形蠕虫的能力，本文对上述四大模块中的三个模块的关键算法进行了研究和改善。考虑到单一特征字符串不足以标示一个变形蠕虫，本文借鉴了利用离散的字符串组合作为变形蠕虫特征码的思路，引用了新型的特征码，并针对该种特征码提出了自己的变形蠕虫检测算法。另外，出于进一步提高变形蠕虫特征码质量的考虑，本文还给出了一种基于网络最大流聚类算法的恶意网络数据流聚类算法用于预处理可疑网络流。