读取视频人物唇部动作是模式识别领域里一项具有挑战性的数据分析课题,主要任务是将深度学习中改进的卷积神经网络、时间序列预测和概率建模等方法应用于序列化的人物唇部数据,在抽取唇动信息的基础上对视频人物所说句子内容进行识别。目前的各类识别算法在视频处理和挖掘方面正逐步拓展延伸,对于视频中动态的人物分析,尤其是关于唇动信息与句子文本的对齐研究还需要进一步的探索。本学位论文以有效识别视频中单个人物的唇部动作为研究目标,首先自建唇读识别数据集训练多场景下的人物视频与相应的句子文本标签序列,接着设计一种基于卷积神经网络的视频人物唇部语义抽取方法实现唇部区域划分与唇部特征的多层级提取,最后设计一种基于时序预测的视频人物在线句子级唇读识别方法完成人物唇动与句子序列的关联对齐及在线方式的识别展示过程。本文的工作创新主要体现在以下三个方面:(1)采集大量具有说话人物的节目视频并进行预处理,结合三阶段深度可分离卷积的神经网络与非极大值抑制改进算法检测人脸并利用卡尔曼滤波进行持续跟踪,将具有人脸的视频帧序列和音频对应的文本标签加入训练以完成本地唇读识别数据集的建立。(2)利用K-means聚类划分粗选取的唇部区域,通过全卷积网络获取唇部候选框,使用融合了时空与多通道信息的残差网络提取多层级卷积下的视频人物的唇部特征语义。(3)通过双向门控循环单元记忆视频序列中人物说话句子内容的前后向关键信息,引入混合注意力机制的联结主义时间分类损失算法对齐文本标签与句子中的字符,以同步唇部运动轮廓,并结合Web框架和云存储平台在线展示唇读识别的句子序列。