多模态融合的新闻故事单元分割

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:ilove19830517
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对视频数据的有效处理、浏览、检索和管理正伴随着视频数据的快速增长而成为亟待解决的现实问题。视频内容分析技术旨在将非结构化的视频数据结构化,并提取其中的语义内容,构建低层特征到高层语义之间的桥梁,最终建立视频的摘要、索引和检索等应用系统,提供给用户方便的视频内容获取方式。本文以新闻视频为研究对象,通过对字幕、音频、视频这三个不同类型信息的研究,实现了对新闻视频故事单元的分割。并以Visual C++为开发平台,设计并实现了一个新闻视频故事单元分割系统。本文首先对视频进行了结构化的处理,提出了一种改进的镜头边界检测方法,即对运动补偿之后的像素不变点采用自适应双阈值来判定切变镜头和渐变镜头。在此基础之上,对一种字幕检测算法进行了改进,利用小波变换提取图像特征,对其进行模糊C均值聚类,判断出图像帧中的字幕信息;同时以提取的关键帧为基础实现一种主持人镜头的检测方法,利用新闻视频中主持人镜头的固有特点,提取区域图像的颜色特征进行判断,将镜头分为主持人镜头和一般报道镜头。本文利用基于隐马尔科夫模型的音频分类算法,提取视频中的底层音频信息特征,首先对音频进行静音判断,然后使用隐马尔科夫模型对其进行分类,实现对新闻音频信息的分类与识别。最后本文以Visual C++6.0为编程平台,实现了新闻故事单元分割系统,完成了对新闻视频的镜头检测、字幕检测,音频分类识别,主持人镜头检测,新闻故事单元分割以及数据库的管理和检索。
其他文献
倒立摆的运行状态同人类的行走样子类似,其平衡时的形态与火箭发射的姿态又相通,研究具有工程意义。倒立摆系统具有结构简单、构件组成参数和形状易于改变、成本低廉,且控制
电机速度控制技术是电气传动领域的重要组成部分,在工业领域的各个方面应用都十分广泛,也是一个国家工业自动化的基础,因此实现交流电机的数字控制,提高电力传动系统的性能不仅具有重要的学术意义,在结合了节约能源等方面的综合研究后还具有重大的实用价值。先进的交流电机速度控制系统是国家的基础工业和生产制造业飞速发展的重要推进力量。三相异步电机是交流电机中应用中最为广泛的机种之一,因此将较好的控制策略与算法应用
四旋翼直升机具有复杂的气动特性和特殊的飞行状态,飞行过程中对系统安全性、可靠性要求较高。四旋翼直升机在飞行过程中易受到外界扰动,发生执行器、传感器类型故障,因此需
随着全球能源危机和环境污染的日益严重,开发和利用清洁的可再生能源势在必行。太阳能是当前世界上最清洁、最具有大规模开发前景的可再生能源之一。太阳能的利用因此受到世
船用甲板起重机是安装在船舶甲板上用于船舶在岸边和海上装载货物的一类起重机。本文针对100t船用甲板起重机在开阔海域定位起重作业的要求,由于风浪的影响,船体倾角变化造成
电厂锅炉制粉系统运行工况变化较大,很难在最佳工况稳定运行,造成制粉单耗高,还不时会出现空磨运行和磨煤机跑粉现象,既造成了巨大浪费,又污染了环境。本文针对华能重庆珞璜
人体检测是计算机视觉中一个重要的研究领域,在视频监控、智能汽车及智能交通、机器人和高级人机交互等领域具有广泛而重要的应用。然而,由于人体自身姿态的变化、衣服的多样
随着三网融合的推广,下一代广播电视网逐渐发展成为融合了多媒体技术、通讯技术和分布式计算技术,并以数据业务为中心,以分组协议为基础的综合性网络。随着业务种类和设备种
虚拟仪器是基于计算机的仪器,是电子测量和计算机测试的前沿技术。虚拟仪器拥有卓越的分析功能和强大的数据采集处理及运算功能,配合其工程平台LabVIEW,它将会成为今后控制领域
PC/104总线在是一种专门为嵌入式控制系统定义的一种工业控制总线,它在工业控制领域有着广泛的应用。本文研究了基于PC/104架构的ARM7通用控制平台的开发与设计。本文介绍了P