作为一种新的计算模式,云计算以其方便、快捷、低成本等特性得到了广泛的研究和应用。与此同时,云计算也面临着来自多方面的挑战,而安全问题尤其重要。作为云计算的核心技术,虚拟化技术支撑着整个云计算的虚拟化服务,其安全性对云计算至关重要。虚拟机作为虚拟化的主要体现,云计算基础资源的基本单元,在整个云平台中扮演着重要的角色。且虚拟机内承载着大量的服务,成为极具吸引力的攻击目标,受到越来越多的攻击者的攻击。因此,虚拟机安全成为虚拟化安全的重要方面。为了提高虚拟机的安全,保障云平台的安全性,本文主要做了如下方面的研究:(1)提出了基于云环境安全状态的动态监控模型。针对传统云平台中固定监控模式不能随系统安全状态做出及时变化,难以及时捕捉系统安全事件的问题,本文根据云环境的安全状态的变化趋势,动态调整监控频率,以此提高监控效率,保障系统安全。云环境的安全评估采用BP神经网络建模评估,通过选取合适的评估指标,建立评估模型。根据评估模型的评估结果,构建安全状态变化曲线,根据曲线变化趋势预测系统安全,调整监控频率。通过实验表明,相比于传统的固定监控频率,该算法能够根据系统安全变化调整监控频率,且频率的变化跟系统安全状态呈现一定的相关性。(2)提出了基于进程调用序列的虚拟机异常检测模型。针对传统检测模型的检测精度低和现有改进模型的时间复杂度较高的问题,本文通过BP神经网络优化HMM模型,平衡两者之间的矛盾。虚拟机内的服务都以进程的形式存在,进程的序列反映了进程在系统内的活动信息,通过对进程序列的检测,即可有效判定系统的安全状态。采用BP神经网络对进程序列进行预处理,求解模型所需的观察概率,降低模型训练的参数调节过程。实验结果表明,相比于传统模型,本文改进模型提高了检测结果的准确性,同时相比于现有的改进模型降低了模型的复杂度。(3)最后,本文基于Openstack设计了云环境虚拟机安全系统云平台,在平台中添加了动态监控模块和安全防护模块以验证本文提出的算法模型,并对系统运行进行了展示。