目前,计算机网络安全领域正面临着严重的挑战,木马、病毒、蠕虫等各种网络攻击行为正严重威胁着广大用户的数据和信息的安全。其中,木马攻击技术不断变化,已经造成了严重危害。因此,研究木马检测技术具有重要的意义。本文首先对当前国内外多种主流的木马检测技术进行了研究,这些技术总体上可以分为静态检测和动态检测。本文的目的就是寻找一种新的动态检测技术,以弥补当前动态检测技术可能会使系统受到木马损害这一缺陷。本文首先对木马技术的基本知识进行了研究,分析了木马可能的的行为特征。为了更有效地获取木马运行时的行为特征,对三种木马行为特征的获取方式进行了分析和比较,最终确定了使用微软提供的Detours库进行木马行为特征的获取。然后,研究了数据挖掘分类技术中的决策树,对如何将决策树应用到动态检测进行了研究。深入分析了两种决策树算法:ID3算法和C4.5算法。C4.5算法是ID3算法的改进,本文选择了C4.5算法作为建立决策树的算法。设计了基于Detours库的木马动态检测系统。为了保证用户系统的安全,该系统使用了虚拟机作为未知文件运行的环境。该系统可以批量地对未知文件进行自动检测并具有良好的扩展性,最重要的是可以预先对未知文件进行检测,让用户参考检测结果决定对文件的处理,最大限度地降低了用户打开木马文件可能造成的损失。最终的测试结果表明该系统可以有效地进行木马动态检测。