互联网已经迅速成为日常生活中不可或缺的一部分,并且我们对互联网的依赖正在持续增长。与此同时,网络攻击急剧增加,攻击手段日异月更。当前的恶意代码检测技术通常使用传统的机器学习算法,这些算法需要对恶意代码特征进行提取和选择。多数动态分析受执行环境约束,部分恶意代码通过隐藏文件逃避追踪,过程耗时且容易出错。流行的静态分析依赖于人工提取特征,安全性较差,效率较低。面对以上挑战,本文将恶意代码检测结合深度神经网络,主要工作如下:（1）目前针对恶意代码图像进行的分类研究在恶意代码领域总体而言较少,现有的工作仅在Malimg恶意代码图像数据集上进行,而基于图像的恶意代码检测需要其他数据集支撑和验证,本文将在Virus Share网站收集的二进制PE恶意代码处理为灰度图像数据集,提出一种基于卷积神经网络并结合了dropblock正则化与空间金字塔池化的模型。借助卷积操作提取灰度图像特征,利用dropblock算法思想防止过拟合,通过空间金字塔池化处理大小不同的输入并扩展了金字塔的层数,提升了模型的特征提取能力。在基于图像的恶意代码检测场景中,该模型解决了卷积神经网络只能处理固定尺寸的图像,对输入图像进行剪裁或者拉伸操作时,会丢失重要信息的问题。设计了一系列实验,将本论文处理的灰度图像数据集上训练好的卷积神经网络应用到Malimg数据集中,使得Malimg数据集的准确率有所提升。（2）提出了一种基于改进双种群遗传算法的卷积神经网络结构与参数优化方法。该方法将恶意代码检测模型训练过程建模为一个目标优化问题。使用双种群遗传算法,结合精英保留机制设计了基于个体交换的选择策略,该策略可以提高种群的基因丰富程度,提高种群适应度。利用遗传算法优胜劣汰的机制保留优势个体,快速搜索参数最优的卷积神经网络模型。该方法解决了深度神经网络模型在实际训练过程中容易受到训练次数、学习率和权重阈值等因素影响而降低检测效率的问题。实验结果证明,优化过的恶意代码检测模型准确率和整体性能有进一步提升。