随着互联网的高速发展,网络服务和应用已经融入到社会的各个方面。然而网络入侵与破坏事件层出不穷,网络安全不仅是每一位网络用户关心的话题,甚至已经成为国家战略的新型力量支撑。面对日益严峻的网络环境,网络入侵检测技术备受关注。入侵检测的一个重要方法是识别攻击代码,Shellcode就是其中主要的一种,常被用于在漏洞利用中执行恶意功能,缓冲区溢出漏洞则是典型场景之一。到目前为止,已有多种用于检测Shellcode的方法,两种主流的分析方法包括静态分析和仿真执行。然而现有的检测算法具有许多局限性,流行的仿真执行方法严重降低了效率,静态检测不能保证检测的准确性。而人工智能拥有极强的学习能力和泛化能力,已经被广泛地应用到各个研究领域,因此人工智能成为入侵检测的热点。本文具体的工作如下。本文提出了一种基于卷积神经网络的Shellcode检测方法,与现有的基于仿真执行的方法相比具有可接受的检测速度和准确度。本文设计了多种探针,用于匹配关键字节序列以过滤良性数据并获得Shellcode候选,然后卷积神经网络使用从Shellcode片段提取的静态特征对候选进行分类。为提高检测性能,使用对齐的方式降低特征向量的空间维度,采取特殊的反汇编方式提取特征。除此之外,针对现阶段Shellcode定位研究的不足,本文提出了一种基于寄存器模式分析的静态Shellcode定位方法。Shellcode指令在很大程度上依赖于上下文信息,因此该方法使用静态反汇编捕捉指令之间的关联。寄存器的使用体现了指令之间的关联性,本文设计了多条提取方案来捕获细粒度的寄存器使用方式,而后根据设计的恶意模式检测数据中是否存在可疑的代码逻辑。在上述的基础上,针对可选目标和数据需求,本文设计实现了一个从数据流中检测Shellcode的原型检测系统。实验表明,本文检测方法在保证96.2%准确率的同时拥有极低的误报率,而本文的定位方法也拥有极大的潜力,与Shellcode检测方法相结合会展现出更好的定位能力。同Libemu和SBE方法相比,本文方法有较高的效率并且能够检测更多种类的恶意代码,如朴素Shellcode,加密Shellcode等。