随着网络空间形势与软硬件技术的发展,如今网络环境和攻击方法复杂多变,网络空间不断面临新的安全威胁和防御挑战。由于Windows平台在各个领域都得到广泛应用且具有良好的开放性,因此,一直以来都是传统恶意代码和高级威胁的主要攻击目标。尽管经过多年发展,其系统安全性已经得到较大的提升,能够有效缓解传统攻击和漏洞利用方法的实施,但仍然难以阻止各类高级威胁的产生,近年来其关联的攻击事件不断被曝光,终端平台面临的高级威胁分析和防御形势依然严峻。本文立足于解决新形势下Windows平台高级威胁分析和防御面临的问题,围绕高级威胁涉及的新技术和方法,针对深度分析过程中存在的技术挑战进行研究,并提出一系列面向高级威胁分析和防御的基础性方法。论文研究工作的主要创新性成果如下:（1）提出一种基于堆栈的动态内存数据威胁模型。该模型对程序进程的实时内存数据产生威胁,采用非侵入式方法进行数据获取。论文以主流浏览器程序为例对该模型进行应用和实现,通过实验和案例对模型的威胁进行验证,并进一步给出相关防御措施。该模型能够以更低的代价获取有价值的数据,部分方法同样可用于内存取证以及恶意软件分析。（2）提出一种面向浏览器类应用的加密流量分析方法。通过在超级模式下获取目标系统的多种类型数据并进行关联,从而能够实现对基于浏览器类应用的恶意加密流量的实时分析,并将解密的数据与其它数据做关联分析。进一步提出一种辅助的逆向分析方法以支撑方法的应用,能够快速地在不同版本的程序中识别目标数据。该方法在分析时具有较低的负载和较好地适应能力。（3）提出一种基于渐进扩展的程序数据流分析方法。该方法旨在充分利用在线数据流分析的能力,在局部分析的基础上逐渐扩展分析范围,从而使分析能够覆盖整个目标程序。通过设计的分治策略,可降低对目标程序运行时的性能影响,从而可使对延迟敏感的目标代码段能成功地执行。在此基础上,本文进一步提出基于内存引用关系的函数参数相关性分析方法,从函数调用层面获取数据流传递信息,可辅助恢复参数的内部结构信息。大量案例研究表明所提出方法能够用于真实环境下的复杂程序和恶意代码的分析。（4）提出一种硬件和系统内核辅助的程序分析方法。可以隐蔽高效的对目标程序进行自动化分析,并具有较好的通用性。在底层设施的帮助下,通过设计一系列的优化策略和多种分析方法来降低细粒度分析时对目标程序的性能影响,使其能够在实际环境中进行应用。实验表明所提出的方法具有较好的隐蔽性,能够应对恶意程序采用的大多数检测对抗方案,并占用较低的系统资源。（5）提出并实现一种系统层面的细粒度威胁分析与防御方法。该方法将程序执行过程中涉及的内存数据、网络流量、文件访问等数据进行关联,以对系统存在的敏感数据泄露情况进行实时监测与阻断。该方法可在线对可疑程序进行细粒度的自动化分析,保证目标代码执行的稳定性连续性,进一步提出一种改进的轻量级在线解耦的动态污点分析方法,能够进一步降低对目标程序运行时的性能影响,并易将分析过程迁移至其它上下文环境中,从而可进一步减小对目标程序运行环境的干扰。