面向返回导向的编程(Return-oriented Programming, ROP)是一种基于代码复用技术的新型攻击方法,攻击者从已有的库或可执行文件中提取指令片段,构建恶意代码来修改内存权限、创建进程和偷取文件等。它通过调用系统内存中已经存在的二进制代码片段(Gadget)来构成一个图灵完全的攻击序列,可以绕过当前操作系统的保护机制,由此给计算机系统和网络带来了极大的安全威胁。ROP技术自2007年由Schacham提出来后,得到了迅速的应用和发展。ROP攻击最初是在Linux的32位平台上实现,后来在多种软硬件平台上也实现ROP攻击。ROP 的变种 JOP ( Jump-Oriented Programming) 和 BIOP ( Branch Instruction-Oriented Programming)等,更进一步丰富了 ROP。针对 ROP 攻击越演越烈的趋势,本文提出一种基于行为特征的ROP及其变种攻击检测技术,即“X”OP攻击动态检测技术,“X”OP代表ROP及其变种的统称,该检测技术利用Pin插桩工具实现,能对当前已知的ROP及其变种攻击检测。本文的主要工作如下:首先,本文深入研究了“X”OP攻击的基本原理,分析比较了“X”OP攻击检测技术的优缺点,发现了当前检测方案只能针对单一类型攻击检测的问题,提出了以“X”OP攻击共同特征为基础的检测思想。然后,分析了正常程序和“X”OP攻击中jmp指令、call指令以及ret指令的行为区别,提取“X”OP攻击中jmp指令、call指令以及ret指令的特征。根据以上研究,提出了基于行为特征的新检测方案。最后,构建“X”OP攻击动态检测原型系统,并选取样本对该系统进行了功能测试和性能测试,实验结果表明该系统能对ROP攻击及其变种实现有效检测。