随着互联网的发展,海量数据集聚起来形成大数据环境,数据挖掘也成为了研究的热点。数据挖掘中的模糊积分是一种优秀的信息融合工具,它在分类问题上有较多成功应用。然而,模糊积分有着指数级的时间复杂度和空间复杂度,在大数据挖掘中难以适用。目前,已经有较多成熟的并行计算框架。一些传统的数据挖掘算法通过结合并行计算,提高了算法的效率和可用性。Spark是一个基于内存的分布式并行计算框架,具有良好的健壮性和扩展性。在数据挖掘迭代算法上,Spark比Hadoop MapReduce有更高的效率。稀疏存储在高维稀疏数据上有一定的应用,而模糊积分的组合特征值有较多的零值。鉴于此,本文提出一种基于Spark并行计算和稀疏存储的模糊积分算法,扩展了模糊积分在大数据挖掘中的应用,同时提出了基于模糊积分的组合和融合优化模型。本文的主要研究内容如下:(1)针对模糊积分算法的空间复杂度和时间复杂度问题,根据模糊积分求解组合特征值的过程,使用二进制累加器优化了算法流程,并引入稀疏存储和Spark并行计算技术,提出了并行稀疏的模糊积分算法,简称PSFI算法。由实验结果显示,在PSFI算法上稀疏存储压缩了存储空间,提高了存储效率和模型训练效率,并行计算大大缩短了计算时间,提高了运算速度。(2)针对Python语言的效率问题,引入Cython编程,并把算法打包成算法库,实现了更高效的PSFI算法。实验结果表明,本文提出的基于Cython的PSFI算法在效率上提高了40多倍。(3)针对数据挖掘模型调优问题,提出了PSFI算法和现有数据挖掘模型的组合优化模型,利用PSFI算法扩展现有模型的特征处理能力,寻找预测准确率更高的组合模型。经实验验证,本文提出的PSFI算法和Fisher判别、逻辑回归的组合模型,具有较高的预测准确率。(4)对PSFI算法在数据挖掘模型融合中的应用展开研究,利用模糊积分的信息融合优势,融合当前优秀的数据挖掘模型,寻找更好的模型融合方案。实验结果验证了PSFI算法融合Xgboost模型,在不平衡分类问题中有较优的效果。本文的工作首次把模糊积分算法扩展到分布式领域,解决了模糊积分单机运算的高复杂度问题,通过模拟实验,展示了模糊积分在数据挖掘中的应用潜力和优势,对基于模糊积分的数据挖掘研究具有推动意义和启发式价值。