云计算通过网络提供廉价、可扩展的计算服务。随着越来越多的应用迁移至云端,针对虚拟化环境产生的恶意软件攻击的种类和数量也与日俱增,成为制约云平台广泛部署和应用的关键因素。传统的基于in-VM的防护软件不能有效地抵挡住恶意软件的袭击,因为这些防护软件本身就会成为恶意软件袭击的目标,很容易遭受干扰和破坏。本文首先对虚拟化技术和恶意软件检测方法进行了分析研究。提出一种基于虚拟化技术的动态多特征恶意软件检测方法。该方法首先使用虚拟机自省技术结合内存取证分析技术,采用带外方式一次性透明地提取客户虚拟机中多个种类的特征,减少了采样次数,从而有效降低了对运行的客户虚拟机的干预。然后,通过使用AdaBoost集成学习方法和Voting的结合策略设计了分类器,有效地提升了整体分类器的检测精度和泛化能力。最后,基于Xen的虚拟化平台设计实现了基于虚拟化技术的恶意软件检测原型系统,利用收集的大量真实的恶意软件和正常软件作为实验样例,通过训练,得到了最终的分类模型。实验结果表明该系统最终可以达到99.93%的检测准确度,并通过对比分析,该系统使用的恶意软件检测方法优于已有的方法。综上,本文主要研究成果如下:(1)本文提出了采用虚拟机自省和内存取证分析技术相结合的模式,实现了一次性从客户虚拟机中提取出多个种类的动态特征,能够有效提升获取特征数据的种类和可靠性,减少数据获取的开销以及对客户虚拟机的干预;(2)本文采用了从不同侧面描绘客户虚拟机状态的多特征动态数据,提升了对于复杂恶意软件的检测能力,因此相比于基于单特征或静态恶意软件检测方法,多特征动态恶意软件检测方法更为有效;(3)本文利用实验选取的针对每一类动态特征的最优分类算法,并采用集成学习模型将这些基分类器进行有效的集成,有效地提升了整体分类器的泛化能力和分类准确度,且增强了分类模型对于不同种类的恶意软件检测的通用性。总之,本文设计实现的基于虚拟化技术的恶意软件检测原型系统可以降低系统开销,提高恶意软件检测率,能够提升虚拟机安全性,对保障整个云平台的安全具有一定意义。