以数据的爆炸式增长为根本,以信息技术和计算机网络等高新技术发展为标志,人类社会已经步入了一个崭新的数据时代.如何在这些海量数据中挖掘出有价值的信息并将其分门别类显得尤为重要.尽管数据挖掘与机器学习技术日益趋向成熟并且被广泛应用于实际问题的处理中,但该领域仍面临着诸多挑战,如不平衡数据集分类问题.过采样技术通常是处理不平衡数据集的首选方法.具体地说,过采样技术通过生成额外的人工少数类实例来平衡多数类和少数类之间的训练实例数量.然而,很多过采样技术只考虑数量的不平衡,而不考虑数据分布是否平衡.本文提出了一种基于熵差和核的过采样算法(EDKS),它利用熵差从分布上考虑数据集的不平衡程度,通过在支持向量机分类器的特征空间进行过采样,克服了SMOTE对非线性问题的局限性.首先,EDKS方法将输入数据映射到特征空间中,以提高数据的可分性.然后EDKS计算核空间的熵差,确定多数类和少数类,并找出少数类中的稀疏区域.此外,该方法通过合成新实例并评估其保留能力来平衡数据分布.该算法能有效地区分不平衡率相同但分布不同的数据集.为了验证该模型的有效性,EDKS算法在19个公开的不平衡数据集上与其他七种经典的过采样算法进行了竞争性的对比实验.实验结果表明,本文提出的方法在多个基准不平衡数据集上的性能明显优于其他算法.另外,本文从基于熵的局部密度信息入手,提出了危险集的概念和它的三种使用策略,即基于熵的危险集过采样算法(EDg S)、基于熵的安全集过采样算法(ESS)和基于熵的自适应过采样算法(EAS).实验结果表明,这些算法可以有效提升经典过采样算法的性能,为进一步利用熵信息理论研究不平衡数据集提供了成功的实践经验.