在高维数据的分类问题上,为了选择可以很好地解释类别的最小特征子集,需要找到预测目标的相关特征,并通过发现特征之间的相互关系来去除冗余信息。现有方法通常从特征之间相关性的角度来考虑特征之间的关系,而忽略了它们之间存在的预测能力上的互补性。本文首先介绍了基于信息熵准则的过滤式特征选择算法,并分析了典型算法的优缺点,然后给出了基于信息熵的特征互补性的定义和计算方法;在此基础上,我们提出了基于决策树的特征互补性计算方法;并将其扩展到随机森林模型上,提出了基于随机森林的互补性计算方法;最后在基于随机森林变量互补性计算基础上提出两种特征选择算法:（1）基于信息熵的定义,提出了“最大相关最大互补”特征选择准则MRMC（Maximum-Relevance and Maximum-Complementariness）,从特征与目标的局部相关性和特征之间互补性两个方面评估特征和特征子集。提出一种通过随机森林快速计算特征相关性和特征间互补性的方法。16个标准数据集上的对比实验表明,在选择小的特征子集时,基于MRMC的特征选择算法在分类性能和时间效率上都优于几种基准过滤特征选择算法CMIM、MRMR、DISR、JMI、JMIM和MRI;在分类性能方面则优于随机森林特征选择算法。（2）提出了基于谱聚类的最大相关最大互补特征选择算法Maximal information coefficient-Variable Complementariness Measure（Mic-VCM）和Gini-Variable Complementariness Measure（Gini-VCM）。为了使得到的子集里特征相关性和互补性都最大,基于随机森林得到互补性矩阵,并转换得到特征关联矩阵作为谱聚类算法的输入,从而得到k个特征簇;在每个簇中选择相关性最大的特征,得到包含k个特征的子集并输出。16个标准数据集上的对比实验表明,Mic-VCM和Gini-VCM算法在分类性能等方面优于几种基准算法。