借助机器学习技术，人类能够获得隐含于各种数据中有价值的信息，并最终应用于预测未知事例的结果.传统机器学习研究的前提条件是：每一个事例的表示必须是分明的，即事例对每一个属性的取值都是确定的.这个前提在很大程度上限制了机器学习的应用范围.很多实际问题中抽取出来的数据都具有不确定性，往往不满足取值确定这个前提.事例表示是分明的，表明传统的机器学习算法仅能处理确定环境中的机器学习问题，而不适合于处理不确定环境中的学习问题.近些年来，随着证据理论、模糊系统理论和粗糙集理论等不确定性数学理论与方法的发展，能够处理不确定性的机器学习已经成为研究热点，机器学习已经从确定环境下被推广到不确定环境中.然而，目前能够处理不确定性的机器学习还处于发展阶段，仍需不断补充与完善.例如，支持向量机算法仅能处理实值确定性数据，而缺乏处理不确定性数据的理论基础和有效手段；模糊粗糙集中的核心概念——模糊相似关系缺乏几何解释，限制了模糊粗糙集理论的进一步发展及应用；现有证据理论的模糊推广未考虑无限模糊焦元情况，且模糊焦元的概率仍为实值而不是模糊值.针对上述问题，本文首先研究了样本在几种空间中的线性可分性；然后分析了模糊相似关系的几何解释及其应用，并研究了基于模糊粗糙集的模糊决策系统的属性约简理论；最后讨论了T-模糊相似关系下证据理论的模糊推广问题.本文具体从以下几个方面进行了探索：分析了有限样本集合与无限样本集合在几种空间中的线性可分性.给出了Hilbert空间、Banach空间和模糊数空间中样本的可分性充要条件.以此为基础可以进一步讨论更一般空间中的机器学习模型，为支持向量机处理不确定性数据做了理论准备.在Krein空间中给出了模糊相似关系的几何解释，并给出了基于模糊粗糙集下近似的隶属度的几何解释.基于上述隶属度，设计了新的模糊粗糙集约简算法，并将该隶属度应用于支持向量机，提出了两种新的模糊支持向量机模型.利用广义模糊粗糙集方法，给出了带有模糊决策属性的决策系统的约简方法.首先定义了不一致模糊决策系统及其约简；其次，设计了基于辨识矩阵的算法来计算全部约简.由于回归问题中的数值型决策属性可以被转换为模糊决策属性，所以该算法也适用于具有实值决策属性的决策系统的属性约简问题.讨论了证据理论的模糊推广问题.利用T-模糊相似关系，定义了两对模糊值信任函数和似然函数.讨论了模糊值信任函数和似然函数与模糊粗糙集的关系.对于特定的模糊值函数，给出了一些公理来保证可以生成相应模糊值信任函数和似然函数的模糊相似关系的存在性.上述研究结果丰富了不确定环境中的机器学习理论，扩大了机器学习的应用范围，改善了传统机器学习方法的学习效果.