语音转换是一项将源说话人个性化语音转换为特定目标说话人个性化语音的技术,广泛应用于话者身份的隐藏、影视作品的配音、多媒体娱乐、医学等领域。目前语音转换研究主要集中于干净无噪的环境中,而由于噪声的存在会严重影响语音转换系统的性能,在日常生活中,人与人之间的交流和人机交互都很难避免噪声的干扰,因此提高噪声环境下语音转换模型的鲁棒性是实际应用中一个亟待解决的问题。相关研究表明噪声环境下加入视觉信息能够提高语音增强的效果,受此启发,本文拟建立噪声环境下视觉与声学信息相结合的多模态语音转换模型,以此提高噪声环境下语音转换系统的鲁棒性。本文的研究内容主要包括以下两个方面:(1)建立普通话多模态语音库根据调研发现,目前国内暂无公开的完整多模态语音库,为了进行中文多模态语音转换研究,本文录制了一个普通话多模态语音库。此语音库包含了正常语音和耳语音的音视频信号,因此在选取语料时依据普通话以及耳语音发音的特点进行选取,共选取了汉语中常用的103个音节和100个短句作为发音语料。语音库由5男5女共10名普通话发音标准的人员录制完成,最终采集了4060个视频和4060段语音。对录制的语音库经过一系列处理,最终的多模态语音库包括:语音、发音时原始视频序列、面部图片序列、唇部图片序列、脸部106个关键点坐标以及语音音节标注数据。(2)提出一种噪声环境下的多模态语音转换方法人类言语感知在本质上是多信道的,视觉信息与听觉信息存在非常显著的互补关系,可以将视觉信息作为声学信息的一种补充,因此通过加入唇部图片作为辅助信息来提高语音转换模型在噪声环境下的性能,故本文提出一种噪声环境下基于深度卷积神经网络的多模态语音转换模型(Multimodal voice conversion using Deep Convolutional Neural Network,MDCNN)。此模型使用两个卷积神经网络(Convolutional Neural Networks,CNNs)分别用来提取唇部图片序列特征和语音序列特征,随后对CNN提取的视觉特征和语音特征进行融合并送入到全连接层,以此来建立源说话人的视听特征和目标说话人声学特征之间的映射关系。为了测试本文提出的基于MDCNN的语音转换模型,文中从NOISEX-92噪声库选取了6种不同的噪声混合7种不同信噪比构造了42种不同的噪声环境。实验结果证明了本文提出的MDCNN方法在噪声环境下的有效性。