近年来,随着不确定性问题在现实生活中的大量出现,来自数学、量子物理、计算机科学、信息科学、决策分析和人工智能等不同领域的众多科研工作者对不确定性问题的建模与操控表现出越来越浓厚的兴趣.由于建立在经典集合和布尔逻辑基础上的传统数学工具在处理不确定性问题时总是采用假设来忽略概念和信息内涵的不确定性,效果往往不理想,有时甚至推出谬论.为克服经典数学理论在处理不确定性问题时存在的一些缺陷,许多新的数学工具被提了出来(如体现程度化思想的模糊集理论,体现粒度化思想的粗糙集理论等).1999年,为了建立更一般的描述和处理不确定性的理论框架,Molodtsov提出了体现参数化思想的软集理论.作为一个新兴的交叉研究方向,软集理论吸引了国内外众多科研工作者,许多非常好的结论正在不断涌现.鉴于此,本文主要从代数结构和拓扑结构两方面来研究软集理论(同时也考虑了所得结果在决策问题中的应用).具体内容如下：第一章,介绍了格论、代数学、拓扑学、软集、模糊集、粗糙集及范畴论方面的概念和结论(为后面章节的研究作必要的准备).第二章,首先针对Babitha等定义的软集关系的局限和不足,引入了Z-软集关系的概念,并通过定义Z-软集关系上的交、并、补和逆等运算,详细讨论了Z-软集关系的基本性质.其次,从代数结构的角度来进一步研究Z-软集关系,证明了一个软集上的所有Z-软集关系构成分配格、交换幺半群和拓扑粗糙代数等.最后讨论了Z-软集关系的拓扑结构,引入了Z-软集关系拓扑、Z-软集关系邻域、Z-反自反内部算子和Z-自反闭包算子等概念,建立了Z-反自反内部算子和Z-自反闭包算子之间的内在联系.特别地,通过它们之间的联系,我们证明了一个软集上最多只能获得6种不同的Z-软集关系.第三章,首先引入由软集和软函数构成的范畴SFun,给出了SFun中等子、乘积等的构造,证明了SFun不仅是集范畴Set上的一个拓扑范畴,而且是笛卡尔闭的.其次,在第二章的基础上引入由软集和Z-软集关系构成的范畴SRel,讨论了SRel的零对象、双积、半加结构、内射对象、投射对象、内射核及投射覆盖等性质.最后,通过伴随来研究SFun(?)SRel之间的本质联系.第四章,首先通过MS-近似空间引入M-软粗糙模糊集的概念.该方法不仅减弱了冯锋等在提出软粗糙模糊集时要求“软集必须是满的”这一较为苛刻的条件,而且提供了一种新的描述初始论域中元素的本质特征的新方法.其次,利用M-软粗糙模糊集的基本性质,通过M-软可定义集刻画了两个模糊拓扑空间.最后,将冯锋等定义的上下软粗糙近似所确定的各种关系推广到M-软粗糙模糊集上,研究了M-下、M-上软粗糙近似所确定的各种关系.第五章,进一步研究软粗糙模糊集的基本性质和结构特征.尽管第四章中提出的M-软粗糙模糊集弱化了冯锋等定义的软粗糙模糊集的条件,但是M-软粗糙模糊集仍存在缺陷,为了克服这些缺陷,本章首先引入Z-软粗糙模糊集,深入研究它的基本性质,并给出实例加以说明.其次,将Z-软粗糙模糊集与已有的粗糙模糊集、软粗糙集、冯锋等定义的软粗糙模糊集、孟丹等定义的软粗糙模糊集进行了比较.最后发现Z-软粗糙模糊集是粗糙模糊集的一种推广;Z-下软粗糙近似算子是下软粗糙近似算子的一个推广；Z-软粗糙模糊集比冯锋等定义的软粗糙模糊集和孟丹等定义的软粗糙模糊集更精确.接着,研究了Z-软粗糙模糊集的代数性质,证明了Z-软粗糙模糊集关于交、并和补运算构成格、交换幺半群、交换幂等hemiring、拟布尔代数及Stone代数等.最后,基于Z-软粗糙模糊集模型,提出了一种决策问题的算法,并通过实例进一步说明了Z-软粗糙模糊集在决策中的应用.