盲源分离技术是近些年发展起来的一种新的信号处理方法，在医学信号领域、地震信号领域、通信信号领域都得到了广泛的应用和发展。盲源分离的混合模型有线性瞬时混合、卷积混合以及非线性混合，非线性混合模型作为盲源分离的一种更加逼近实际应用场景的模型，引起了世界各国研究学者的广泛关注。非线性盲源分离在实际的应用场景中也更加广泛，如由于信道的非线性失真或者接收器的非线性特性而导致信号产生非线性失真，这种情况如果继续用线性盲源分离来解决，可能达不到预期的分离效果，因此研究非线性盲源分离具有很大的价值及实际意义。本文共由五个章节组成，主要研究工作集中在第二章、第三章、第四章中，下面给出各个章节的概述。第一章为绪论，介绍了盲源分离的研究背景、研究现状以及研究意义，同时介绍了本文的主要研究工作以及每个章节工作安排。第二章介绍了盲源分离的三种重要混合模型以及分离原理，重点介绍了独立分量分析（ICA）、各种代价函数、各种可分离非线性混合模型以及非线性盲源分离的可分离性问题。由于CDMA系统中的各个用户相互独立这一先验条件满足盲源分离对源信号独立性的基本要求，将盲源分离算法用于多用户检测是盲源分离算法的又一应用。本章在原有算法的基础上，提出一种改进算法，从误码率和扩频码估计两个方面验证了新算法的性能。第三章介绍了一种新的估计品质函数方法。最小化互信息（MMI）作为盲源分离的判断依据，既可以用于线性瞬时混合模型也可以用于非线性模型。本章以最小化互信息为代价函数，提出了一种新的估计品质函数的方法，将该算法用于后非线性-线性的非线性混合模型中，可以解决后非线性-线性这种深度非线性混合模型中关于品质函数估计的问题。该算法通过改变参数值，可估计次高斯或者超高斯信号的品质函数，较其他一些算法有很大的改进。第四章介绍了一种新的非线性盲源分离算法——几何后非线性盲源分离。传统非线性盲源分离算法都是将线性化阶段和分离阶段紧密联系在一起，两个阶段同时进行，没有完全独立。几何后非线性盲源分离算法是一种基于几何方法的分离算法，该算法将线性化阶段和分离阶段完全独立，这样就可以在几何算法完成线性化过程后，再选择现有的任意一种线性盲源分离算法完成信号的分离。本章在原有算法的基础上，提出了一种将信号幅度非均匀分块和补偿原有算法误差的方法，改进原有算法性能的同时实现了非线性盲源分离。第五章总结了全文的工作并对下一步的研究方向进行展望。