论文部分内容阅读
当前基于内容的视频检索系统主要利用视频图像的基本特征,以及综合各种视觉特征进行联合检索,其缺点是不能有效地提取并利用视频流中的语义信息。如何自动提取视频语义信息,使其尽可能与人对视频内容的理解保持一致,使计算机检索视频的能力接近于人的理解水平,从而达到视频检索语义处理的最终目标,是当前基于内容的视频检索技术研究的关键问题。因此本文以新闻视频为对象,研究了基于内容的视频检索中语义提取技术。文章主要针对基于内容的新闻视频检索语义提取过程以及实验分析系统设计中的若干问题进行探讨。首先分析了视频数据的特点,阐述了新闻视频的语义层次化模型和基于内容的新闻视频检索语义提取技术。然后在对当前视频关键帧提取的主要算法分析基础上,研究了基于帧间似然比的关键帧提取算法和自适应阈值的关键帧提取聚类算法。随后分析了视频字幕和台标的时空分布特征,提出了基于时空分布特征的字幕提取改进算法,改进算法主要采用双峰阈值法、积分投影法等实现了字幕区域的提取与行列分割。同时研究了台标分割的关键帧差分法,并利用小波特征参数及SVM方法实现了台标识别。在基于知识的语义提取技术中,分别阐述了人物、情感、场景等语义提取方法。在人物语义提取算法中,主要利用有效人物的语义人脸模型与高层语义的关联,实现了人物语义的提取。在场景语义提取算法中,通过视频帧序列的关键帧、主持人镜头和主题字幕等综合特征,实现了新闻场景的分割,并根据分割出的场景特征参数与已建立好的场景先验知识库进行比较,获得该段视频场景的语义文本描述。在情感语义提取技术中,采用因子分析法建立情感空间模型,再采用概率神经网络实现特征空间到情感空间的映射,并通过已建立好的情感语义知识库获取视频的情感语义文本描述。最后设计了基于内容的新闻视频语义分析与检索实验系统。系统在传统的基于关键词模糊匹配基础上,通过构建语义词典完善了系统的检索功能,使得检索系统具有一定的“智能”,较好的实现了视频检索。