语音分离是一项从各种复杂的声学场景中提取出目标语音的技术。目前大多数主流的语音分离算法为有监督类算法,这类算法使用非负矩阵分解(Non-Negative Matrix Factorization,NMF)或深度神经网络(Deep Neural Networks,DNN)从预先给定的训练数据中得到混合语音与目标语音之间的映射关系,在实际使用时以类似滤波器的方式从混合语音中提取出目标语音。尽管有监督类语音分离算法能够取得优于传统算法的性能,但由于日常生活中存在各式各样的非平稳噪声,使得原先学习得到映射关系并不适用于所有情况,所以在实际使用时这类算法会产生过多的误差,从而影响提取目标语音信号的整体质量。针对这一问题,本论文分别在两种语音分离,即语音增强(声噪分离)和人声分离情况下研究了改进方法,主要的工作内容为:(1)针对不准确的噪声估计会影响语音增强的结果,研究了一种基于掩蔽估计与优化算法的算法。首先,在时频域内使用NMF估计出背景噪声并以此计算初始分离掩蔽。然后,利用计算听觉场景分析(Computational Auditory Scene Analysis,CASA)计算噪声的存在概率,以此作为凸优化(Convex Optimization)的优化目标并对初始分离掩蔽进行迭代处理,减少其中因噪声过估而存在的误差。最后,使用优化后的分离掩蔽从混合语音中提取出目标语音。实验分析表明,经算法处理后的增强语音具有更高的主观听感和可懂度。(2)针对背景噪声会影响人声分离的结果,研究了一种在噪声情况下结合NMF与深度聚类(Deep Clustering,DC)的人声分离算法。首先,使用NMF从带噪混合语音中分离出人声和噪声的系数矩阵。然后,使用DC将人声系数矩阵映射到高维嵌入空间中。在这个嵌入空间里,根据不同声源语音高维特征值之间的相似度不同,计算得到各目标语音的分离掩蔽。最后,使用分离后的系数矩阵重构多个目标语音。实验分析表明,算法能够在不同的噪声环境下减少目标语音的损失和非目标语音的干扰,得到整体质量更高的分离语音。