基于深度学习的多说话人语音分离技术研究与实现

来源 :中国电子科技集团公司电子科学研究院 | 被引量 : 0次 | 上传用户:accbacc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
声音信号是人们从外界获取信息重要途径之一,而在当今信息全球化的背景下,信息交互的数量已经非常庞大,仅仅凭人力处理和分辨这些信息已经不可行,人们开始应用计算机来辅助完成这些信息处理工作。在声音信号处理技术中,除了语言识别,声纹识别之外,还有一个分支,就是语音分离技术。语音分离技术根据声音输入和应用场景不同,又可以有很多分类,本文研究的是单声道下的基于深度学习的多说话人语音分离技术。语音分离技术的实现有很多种方法,本文将语音分离看作是二分类问题。文章把需要分离的目标说话人语音看作是一个正例,把其他不感兴趣的语音看作是负例。通过从输入的混合语音中提取出感兴趣的正例语音,就能实现分离效果,然后更换不同的目标说话人,即可实现多说话人的语音分离。从方法中可以看出,从多说话人语音中分离语音的前提是需要有分离目标的语音信息作为正例参考,然后才能通过模型,从多说话人中分离对应的说话人语音。本文就是基于以上思考来设计的多说话人语音分离的方法。本文的技术要点一共分为两大部分,分别是单一说话人的语音片段获取和多说话人的语音分离模型训练。首先利用了 BIC、层次聚类、K-means和Gap-Statistic技术对输入的混合语音进行了分割和聚类,从而获取到混合语音中的说话人数和对应的各个说话人声纹信息。然后应用深度学习的方法,利用LSTM和CNNs网络,设计并训练出了多说话人语音分离的模型。最后以一种端到端的方式,将混合语音输入模型中,结合从混合语音中获取的声纹信息,输出混语音中分离出的各个说话人的语音信息。
其他文献
天然气凝析液管道长期运行常面临积液增加、摩阻增大等问题,严重影响油气田的正常生产。定期进行清管作业是管道流动安全的重要保障。针对传统清管器运用于气体管道存在清管
目的:特发性低促性腺激素性性腺功能减退症(Idiopathic Hypogonadotropic Hypogonadism,IHH)是指在下丘脑-垂体-性腺(Hypothalamus-Pituitary-Gonad,HPG)轴的结构或功能没有任何异常的情况下,由于促性腺激素(促卵泡激素(Follicle-stimulating hormone,FSH)和黄体生成素(Luteinizing horm
浇注式沥青混合料具有良好的密水性、耐久性、疲劳抗裂性能和随从变形能力,能很好地适应了钢桥面铺装的本质要求,又对桥梁结构具有良好的保护作用。本文选择四种常用的浇注式沥青结合料,分别为聚合物复合改性沥青、天然沥青复配改性沥青、硬质改性沥青(30#沥青),以及用于MA的硬质改性沥青(60/80#沥青),对比分析沥青结合料及其混合料的综合性能。通过沥青结合料的基本性能对比分析,聚合物复合改性沥青和天然沥青
壁板颤振的研究起源于早期的飞行事故,它是气动力、弹性力和惯性力共同作用的气动弹性现象。随着飞行器发展进入到超音速和高超音速阶段,气动加热现象不可忽略,对壁板热颤振的研究应运而生。壁板热颤振分析涉及颤振边界问题和非线性响应问题,由于振动的存在会造成疲劳破坏,对壁板颤振疲劳问题的研究也不容忽视。本文以二维壁板的横向振动方程为基础,考虑气动力和气动热对飞行器壁板的影响,应用一阶线性活塞理论建立了二维板的
随着高超音速新型地空火箭的发展,箭体结构会面临严酷的热、振动、噪声等复合载荷环境。这种环境下,箭体结构的热应力、热变形问题变得更加突出,热对结构的稳定性及动态特性产生影响,箭体结构的响应变得复杂。由于加筋圆柱壳结构大约占整个箭体结构的80%左右,本文将箭体结构简化为加筋圆柱壳模型,进行热屈曲、热模态和热噪声响应分析。本文基于Donnel的薄壳理论,建立了加筋圆柱壳的热屈曲方程,分别通过理论和仿真计
红枣作为新疆各族人民的“红色富民优质果品”,在推动新疆农业经济发展中起到了良好的作用。然而,由于种种原因,现行新疆红枣产业中仍存在区域品质特点模糊,流通销售不规范等
近十年来,我国电力工业在新技术的应用过程中获得了较大发展,尤其是在高压变电站扩建和高压架空线路的建设方面都取得了卓越的成绩。随着我国城市化发展速度的加快,为适应新发展形势,供电网络在许多城市得以扩建,而对于生态环境来讲,高压变电所、变电站和输电线路所产生的电磁辐射对其影响是不能避免的。所以说,对于我国电力工业来讲,加强对电磁辐射的研究具有极高的社会意义和学术价值。在这样的背景下,城市中高压架空线工
历史教育承载着立德树人,继往开来的重要使命。中学历史课程中,历史文化史教育对理解和传承中华民族优秀传统文化、培养人文素养有不可替代的重要意义。要发挥历史文化史的人文素质教育和德育美育功能,有内涵的教学立意必不可少。教学立意是一堂课的中心主旨,体现着教师自身的专业素养和教材内容的核心思想,是实现历史教育功能不可或缺的重要因素。本文以统编版教材《中外历史纲要(上)》中文化史部分为例,从高中历史文化史教
学位
非晶合金又称为“金属玻璃”,是熔体在快速冷却过程中保留其无序的液态结构特征而形成的。与传统的晶体合金相比,非晶合金具有突出的机械性能,例如较高的弹性极限与杨氏模量之比和较高的断裂韧性等,因此可以应用在较多的工程领域。但是,传统的快速冷却制备方式所制备的非晶合金尺寸较小,非晶合金塑形较差导致难以进行后续加工处理,限制了其实际应用。激光增材制造技术为无尺寸约束制备非晶合金提供了机会。然而,一旦工艺参数
本研究基于资源保存理论和家庭工作增益理论探究员工家庭权力对工作表现(工作活力和前瞻行为)的积极影响及其内在机制。采用经验取样法,对114名已婚的在职员工进行连续10个工作天的日记体研究,多层次模型结果表明:(1)员工家庭权力与家庭-工作人际资本开发行为呈显著正相关;(2)家庭-工作人际资本开发在员工家庭权力与工作表现(工作活力和前瞻行为)的正向预测关系中具有中介作用,员工家庭权力感越强,家庭-工作