基于彩色与深度图像的唇读技术研究

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:asgtzyj_lxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
唇读技术是一门新型的多种交叉学科研究技术,涵盖了图像处理、模式识别、计算机视觉中的关键技术。由于视觉方面的优势,广泛应用于辅助聋儿康复、辅助语音识别、手势识别和个人身份认证等方面。本课题通过对国内外研究成果的总结,对唇读技术的各个关键模块进行了较为深入细致的研究。主要工作包括:(1)自建了小型彩色与深度图像数据库。由于本课题研究方向的特殊性,需要彩色图像与深度图像相对应的数据库,而目前并没有这样的成熟的数据库,因此自建了小型的彩色图像与深度图像相对应的数据库,并完成前期视频分割,得到发音的关键帧图像。(2)对唇部区域定位进行了相关的研究。采用基于人脸检测与五官相对结构的唇部区域定位方法对唇部区域进行精确的定位,并通过大量实验,研究得到唇部区域相对于鼻子在人脸区域分布的最佳参数。实验表明该方法以及通过该方法得到的参数可以精确的标定唇部区域并且尽量排除其他干扰。(3)在唇部分割技术的研究方面,提出基于彩色与深度图像的唇部分割方法。对于彩色图像,采用基于Lab色彩空间a分量的唇部提取方法进行唇部提取,同时在阈值选择方面进行了研究,通过实验证明应用Otsu法能够得到更好的分割阈值。对于深度图像通过彩色图像的映射得到深度图像的唇部区域,对深度图像的唇部区域利用k均值聚类进行分割。并且在两种图像的结合方法和除噪方法上进行了研究。实验证明基于彩色与深度图像的唇部分割方法能有精确有效的将唇部像素和非唇部像素分离。(4)在唇部特征提取方面,研究了基于投影法和可变模板相结合的特征提取方法。首先利用投影法较为精确的找到可变模板的初始化点,然后令可变模板在初始化点周围小幅度迭代,这样的方法大量减少了迭代的次数,提高了可变模板的匹配速度。另外,在识别方法上利用SVM分类方法进行了分类实验,实验证明该方法能够提高唇读系统的识别率。
其他文献
数字电视技术取代传统的模拟电视技术是电视技术发展的必然趋势,在此背景下,原有的电视播出系统已不能适应技术的发展和自身的变化,必须利用数字技术和网络技术建立新一代的
随着通信技术的迅猛发展,多种异构网络之间的互联和融合成为一种趋势。用户希望通过一种统一的交换平台承载不同的网络业务,这样能够降低重复投入,使对不同网络的管理能够标
随着科技的发展,互联网上的应用发生了巨大的变化,由传统的文本数据转化为包含图像、视频、音频、文本等多媒体数据。由于用户越来越向往着更高的自主选择权,这使得视频点播技术
文语转换是一种比较高级的、有广泛应用价值的计算机语音输出的形式,具有广泛的应用前景.该论文针对主要合成基元为词的汉语文语转换系统,从制约其合成音质的几个角度出发进