声源分离任务是音频领域相对古老的任务之一,最初提出时,被赋予“鸡尾酒会问题”这个优雅的名字。该问题最初旨在解决复杂场景下人声分离的问题,后随着问题复杂程度提升以及应用场景的发展与变化,逐渐被分为人声分离、人声与背景声分离以及音乐源分离等分支任务。早期解决该问题的方法多试图从硬件方面考虑,例如设置麦克风阵列来增加声音通道数,然后利用信号处理的相关方法进行处理,分离出不同的人声。后随着神经网络以及深度学习的快速发展,人们通过设计网络框架,通过深度学习的方式实现声源分离。但随着研究的深入,通过设计复杂的网络来实现声源分离逐渐到达了一个瓶颈。这是因为随着对分离性能的需求越来越高,不同声源之间在时频域上的交互和重叠问题逐渐开始被考虑,而这种重叠在音乐源分离上尤为严重。与此同时,鉴于深度学习在其他领域的成功应用,研究者们试图将所用数据从音频这种单一模态扩展到多模态数据,通过建立音视频跨模态信息之间的关联与对应,突破以往仅用音频数据所面临的性能瓶颈。使用跨模态信息进行声源分离所面临的挑战有两点,一点是实现不同模态信息的准确对应,二是获取高质量的声源分离结果。因此,本文应对这些挑战,做出了如下工作:1.在音视频跨模态信息对应上,通过对视觉信息中的发声声源进行预检测与预筛选,使得在不同模态信息进行对应时,能够排除不相关数据的对应,使得匹配更加准确。因此本文在基于Faster R-CNN目标检测方法的基础上,通过对视频信息中的手部位置和朝向进行检测确认,并基于此对目标检测结果进行复筛,以排除目标检测模型在泛化效果不好的数据上进行检测时出现的错误结果所带来的负面影响。本文对提出的筛选方案进行了实验验证,证明了算法的有效性。2.对于分离结果,本文建立信息残差的概念,通过将信息残差与视觉信息相结合,对分离结果进行多次循环修正,使得分离结果的信息不足时得以补全,信息溢出时得以削减,最终更接近于理想的真实分离结果。本文对信息残差的设置以及循环修正的方案进行了完整的实验验证,证明了本文算法的有效性。3.本文在多个大型数据集上对本文算法进行了验证,与该领域最新方法进行了对比,取得了最好的结果,证明了本文算法有效性以及优秀的泛化性能。