当下,恶意代码的肆意传播给网络空间安全带来了巨大的威胁。基于机器学习算法对恶意代码进行自动分析是目前恶意代码分析技术的一种研究趋势。由于从恶意代码分类研究中可以获得不同恶意代码家族之间以及相同恶意代码家族之内的特点,而利用这些特点可以使得新型的恶意代码变种更易被检测出来,所以对恶意代码进行分类研究是当前恶意代码研究工作中的重点。然而,当前的分类研究在应对不平衡的恶意代码数据集以及恶意代码特征选择和降维上遇到问题。一方面,由于很多恶意代码家族规模庞大,而一些高危样本却比较稀少,不仅不平衡的数据集容易造成分类准确率的下降,而且提取不够充分的样本特征也会导致分类准确率的降低。另一方面,对于提取得到的特征,怎样进行特征选择和降维从而使得训练时间减小且分类准确率不下降是一个难点,由于可以综合多个方面对恶意代码特征进行提取,难免会造成特征冗余,此时冗余的特征不仅会使得分类速度下降,对分类准确率的提升也没有帮助。针对这些问题,本文从动态特征、静态特征两个方面着手,基于规模较小或者不平衡的恶意代码样本数据集,对恶意代码的特征选择、特征降维算法进行研究和改进,从不同方面提取特征,设计了一套针对不同恶意代码特征的特征选择、降维算法,并利用集成学习算法构建分类模型。针对恶意代码动态特征,设计实现了基于TF-IDF思想的特征选择算法。通过计算所有特征的权重,筛去权重较小的特征,并对剩下的特征进行加权,从而放大特征对分类的影响。使得具有较强分类能力的特征获得较高的权重,使得分类能力较弱的特征获得较低的权重,从而增加恶意代码分类的准确率,同时也减小时间开销。对于静态特征,设计了改进的信息增益算法进行特征选择;对于图特征,设计了基于函数调用图转移概率的特征处理方法,该方法通过统计一个恶意代码样本中每条函数调用序列,设计算法区分不同的函数调用序列,并且利用bin直方图构建恶意代码特征空间。实验证明,提出的特征选择和降维方法不仅适用于普通规模的恶意代码数据集,在规模较小或不平衡的恶意代码数据集中同样表现优秀,且比现有方法有更高的准确率。