高维数据特征选择是数据挖掘的重要组成部分,可广泛应用于生物信息学、统计学及图像处理等领域。有效选择信息特征可显著地提高学习精度和结果的可解释性;为提高分类精度,许多现有特征选择方法通过去除数据中的冗余和不相关特征来识别信息特征。由于特征维数随数据规模的增大而增加,易出现维数灾难和过拟合问题;数据高维性不仅增加算法的时间和空间复杂度,也会降低算法的求解精度。针对高维数据特征选择所存在的问题,本文通过引入互信息、联合互信息、条件互信息等信息度量,设计合理有效的特征选择模型和方法来降低数据维度、保留数据的重要特征,论文的主要贡献体现为:（1）自适应结构稀疏回归模型:高维数据的许多重要相关结构有助于提高预测性能,而其噪声特征通常降低预测性能,如何从高维数据中挖掘重要的相关特征结构并去除噪声特征是具有挑战性的问题。基于互信息和联合互信息,提出成对特征相关权重和特征权重的两种权重构造策略;提出一种自适应结构稀疏回归模型,推测出各特征间的局部监督相关结构信息,自适应地选择成组的重要特征,从理论上分析了该模型的重要性质;该模型可实现回归和二分类问题的特征选择。所提出模型与五种现有特征选择模型在10种经典公共基准数据集上的比较实验结果表明,所提模型可有效选择信息特征、具有更好的预测性能。（2）多项式自适应稀疏组Lasso模型:大部分特征选择方法从高维数据选择的特征通常包含降低分类性能的冗余特征。提出一个多项式自适应稀疏组Lasso模型,选择成组的重要特征;为挖掘高维数据特征间的局部监督相关结构信息,基于信息论提出一种新的监督特征聚类算法,将与类标签相关的相似特征进行分组;考虑评估特征和组的重要性,提出一种同时构造特征权重和组权重的方法;提出实现多项式自适应稀疏组Lasso模型复杂计算过程的算法。通过五个常用的公共基准数据集上的对比实验,结果表明该模型能有效地选择重要特征,比现有四个经典特征选择模型具有更好的综合分类性能。（3）最大相关性和最小监督冗余准则:从包含不相关且冗余特征的高维数据中选择富信息特征具有挑战性,不相关和冗余特征通常会降低分类器性能。提出一种有效的特征选择算法,考虑特征相关性和关于类别标签的成对特征相关性,提高分类精度;基于条件互信息和信息熵,提出一种新的监督相似性度量;有监督相似性度量引入至特征最小冗余评估准则,与特征相关性最大化评估准则相结合提出新的最大相关性和最小监督冗余准则,从理论上证明该准则的特征选择可用性。在经典公共基准数据集上对比所提出的方法和六种现有特征选择方法,实验结果表明,所提方法在选择重要特征方面更有效,且可获得更好、更具竞争力的分类性能。（4）加权广义组Lasso模型:高维生物数据的特征选择可筛选出与分类任务高度相关的基因以提高分类精度,解决高维癌症基因表达数据二分类问题的理想方法是能够在分类的同时能自动的选择与癌症密切相关的成组基因。大多数现有基因选择方法无法完全挖掘所选基因间的内在相互作用信息,提出一个加权广义组Lasso模型,选择成组的重要基因;基于加权基因共表达网络分析,提出一种基因分组启发式方法;为确定基因和成组基因的重要性,提出一种基于联合互信息的基因和基因组权重计算方法;提出一个实现加权广义组Lasso模型复杂计算过程的求解算法。在随机和三种癌症基因表达数据上的实验结果表明,该模型比现有的两种基因选择方法具有更好的分类性能。