端到端的错误读音检测与诊断

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jiangchong122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会,随着第二语言学习特别是英语学习越来越收到广泛关注,人们对计算机辅助语言学习系统的要求越来越高。错误读音检测与诊断是语言学习的重要组成部分,也是计算机辅助语言学习系统的关键技术。相比传统的老师纠错,计算机辅助的错误读音检测与诊断具有成本低和灵活性高等特点,受到越来越多人的青睐。计算机辅助的错误读音检测与诊断任务可以看作一项特殊的音素序列标注任务,即当识别的音素和标准音素(从呈现给用户的文本中获取)不同时,错误读音检测与诊断的目的就达到了。针对错误读音检测任务,本文首先探索了传统无监督错误读音检测方法的效果,并通过不同发音拟合度评估算法的对比分析,验证了专门针对错误读音检测与诊断任务设计模型的必要性。针对错误读音检测与诊断任务,本文构建了一套数据处理流程,包括音频特征提取,音素信息归一化和数据增强策略;设计了几种不同结构的单模态的音素序列标注模型。通过对比实验验证了数据增强策略的有效性,找到了效果较好的单模态音素序列标注模型结构。针对错误读音检测与诊断任务中文本信息是已知信息的特点,本文构建了融合文本信息的多模态音素序列标注模型。该模型通过注意力机制,将音频中每个位置的发音和文本信息形成一种对齐,从而达到增益每个位置上的音素分类的效果。实验结果表明,本文设计的多模态的音素序列标注模型的性能相比单模态的音素序列标注模型在各类指标上均有显著提升。根据数据集来自不同国家说话人的特点,本文在多模态音素序列标注模型的基础上,探索了通过融合母语信息提升模型效果的策略。本文主要通过构造多任务模型和多特征模型两种方式来实现这一目标。实验结果表明,母语信息能够在一定程度上提升音素序列标注模型的效果,而多特征模型是融合母语信息的较好方式。本文设计的模型是一个融合文本和母语信息的错误读音检测和诊断模型,在本文的对比实验中,相较于对比模型,本文设计的模型在开放数据集L2-ARCTIC上取得了对比模型中最好的效果。
其他文献
硅基光电集成被认为是高带宽和低功率光互连的理想解决方案,高性能电光调制器和探测器作为互连系统的核心器件,起着转换光电信号的作用,其性能优劣很大程度上决定了系统的整体性能。迄今为止,在通信波段对于互连系统无论分立器件还是系统集成均已实现一定程度的商用化,但是为满足日益增长的容量需求。亟需开展2μm波段光互连的研究以进一步拓展通信容量。本文以硅基光互连分立器件的开发以及2μm光通信新窗口的探索为背景,
近年来,高集成度、低功耗、低损耗的光电器件成为硅基光子学的研究重点。绝缘体上硅(Silicon-On-Insulator,SOI)平台上的光开关具有尺寸小、低功耗的优点,最重要的是基于硅材料的光开关可与互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)制造工艺兼容。波导型光开关具有集成度高,尺寸小的特点,是光子集成电路中的重要组成器件之
钙钛矿是一种新型半导体材料,具备载流子扩散距离长、带隙可控、载流子寿命长等优点。近年来钙钛矿不仅于太阳能电池的研究中扮演重要角色,也被广泛应用于微型激光器、光电探测器的研究中,具有很好的应用前景。然而目前关于将各类钙钛矿光电器件进行集成的相关研究却很少,其中一个重要原因在于材料制备方面的瓶颈。尽管理论上钙钛矿单晶相较于多晶薄膜具有更好的光电性能,目前大多数基于钙钛矿的器件依然依赖于多晶薄膜,现实与
随着军事、雷达、卫星等应用需求的不断提升,关于高精度浮点超越函数的实现不断被提出。其中,反正余弦函数运算单元在数据分析、气象计算、信号处理等领域有着非常重要的应用,因此高性能浮点反正余弦函数运算单元的设计与实现对现代工程应用具有重大意义。目前,反正余弦函数运算单元的实现方法主要包含查找表、泰勒多项式逼近等方法,这些方法虽在低位宽运算中保证了一定的运算性能,但当位宽不断增加,其资源开销也随之急剧增加
二十世纪八十年代之前,多数集成电路企业采用IDM(integrated design and manufacture)商业模式。这种模式下,IDM厂商负责集成电路(IC)设计、制造、封装测试等各个环节,甚至也会延伸到下游电子终端。然而随着芯片微缩以及加工技术和设备成本的飞涨,开发先进制程技术的成本也越来越高,许多IDM厂商无法通过投资生产线实现收益。随着产业分工的进一步细化,无晶圆厂和无生产线设计
面对云计算等互联网应用驱动之下的互联网流量持续增长,相干光通信系统使用超高波特率、高阶调制格式信号,有效提升频谱效率,进而支撑海量信息传送需求。与此同时,现有系统下光信号对发射机硬件损伤更加敏感,迫切需要开展硬件损伤监测与分析技术的研究。本论文围绕光通信系统中的信号同相/正交(In phase/quadrature,IQ)分量不平衡和时钟偏移等主要硬件损伤,重点分析研究可适用多损伤共存下的宽范围联
随着科技的进步和经济的飞速发展,研制开发新型实用高性能的传感器,在各行各业都具有重要价值。在各种光学传感器中,基于模间干涉的锥形传感器成为研究中一大热门方向。锥形光纤将传感器的结构尺寸缩减到毫米乃至微米量级,具备成熟的理论基础和制备技术,并且具有高灵敏,高可靠性等优点。本文以此为出发点,从理论设计和实验制备以及性能检测等三方面出发,基于模间干涉原理,提出了基于锥形光纤的两种传感器结构,分别为芯径较
近年来,2μm波段光纤通信越来越受到关注。在该波段,掺铥光纤放大器具有更宽的增益谱,光子带隙光纤(Photonic Bandgap Fibers,PBF)具有更低的理论衰减值(0.1 d B/km),这些优势有助于解决目前光纤通信面临的数据流量大,而光谱资源有限的问题。密集波分复用(Dense Wavelength Division Multiplexing,DWDM)技术在光纤通信中是解决大容量
随着5G、大数据、物联网以及虚拟现实等新型技术和应用发展,光通信系统容量和动态业务带宽有了更高的要求。上世纪香农提出连续的高斯分布信源可以实现加性高斯白噪声信道的最大通信容量,概率整形技术由此孕育而生。尽管目前概率整形编码方案已经日渐成熟,但是围绕概率整形光系统的信号处理研究依然处于起步阶段,现有围绕标准正交幅度调制的信号处理方案,在概率整形系统下存在性能恶化与失效问题。为此,本论文围绕概率整形光