近年来,随着计算机技术的快速发展,互联网应用得到快速普及,网络用户也在急剧增加,这也使得互联网用户的机器时刻暴露于黑客的控制监控下,成为黑客的攻击目标,甚至将用户的机器作为攻击其它机器的终端。木马程序作为恶意程序的一种,经常被作为黑客窃取互联网用户的账号信息、私人资料或商业秘密等的重要攻击手段。相比其他种类的恶意程序,木马程序具有更大的破坏性和危险性,因此本文针对木马检测技术进行研究。木马检测技术一般分为静态和动态两种检测技术,静态检测技术不需要直接运行程序,不仅不会对系统造成真实的破坏,而且检测速度快,误报率低,但需要庞大的特征库支撑,并且在面对已知木马程序的隐藏和变化时略显不足,对于未知木马程序亦是无能为力；而动态检测技术可以实时截获木马行为,也能依据木马行为检测出新的木马,但是运行程序需要占用较多的系统资源导致效率不高,对于已经发现的木马程序,会造成事实上的危害。沙箱(Sandbox)技术是一种通过对程序实施限制隔离的安全保护机制,可用于测试可疑程序,为避免其恶意行为对系统造成危害,把程序生成和修改的资源重定向到沙箱中,程序操作的并不是真实的资源,而是虚拟的资源或者是一个副本,从而实现程序的隔离。因此,本文采用沙箱作为动态检测木马的隔离环境,可以保护真实主机不受破坏且具备与真机运行一样的效果。本文主要针对Windows下的PE文件,分析了当前木马检测技术的不足并进行了总结。重点研究木马行为特征分析技术及扩展攻击树模型在木马检测中的应用。提出了一种改进的基于扩展攻击树模型的木马检测方法,通过分析对比静态分析PE文件及基于沙箱的行为监控技术的特点,采用静态检测和基于沙箱的动态检测相结合的方法,实现了对木马更高效、完整地的检测。本文的主要创新包括如下：(1)基于行为特征分析技术,将扩展攻击树模型引入到木马检测中,通过扩展节点属性信息对模型进行扩展,实现了更精确的匹配模型。(2)提出了一种改进的基于扩展攻击树模型的木马检测方法,改进了危险指数算法及模型匹配算法。采用基于木马行为特征的检测技术,实验证明改进后的方法降低了木马检测的误报率和漏报率。(3)运用C++编程技术,设计并实现了用于木马检测的沙箱原型系统。