论文部分内容阅读
由于当今世界多媒体内容的快速增长以及其在网络上的广泛传播,人们对在不同地点用不同设备获取和浏览多媒体信息的需求与日俱增。对于那些冗长的视频特别是足球视频,如果存在一种可以让用户直接浏览视频中的精彩片段而跳过那些非精彩片段的方法,不仅能够节约观看者的时间,更能节省网络数据流量。不仅如此,如果用户还可以借助这种方法根据他们的喜好来定制视频。当前根据检测方法区分,主要有两种:借助于机器学习模型和制定人工规则。对于第一种机器学习模型的方法,普适性不强,模型训练时间长,需要大量的训练样本;而对于制定人工规则的方法,需要对语义事件进行深入研究,人力耗费较大,普适性不高。目前的研究的重点主要集中在建立准确的模型和找到符合客观情况并且十分有效的规则。本文的研究重点主要是以足球视频为载体,提出了两种事件检测的方法。(1)融合HCRF和AAM的足球视频精彩事件检测方法。首先对足球视频各个音视频特征进行细致的研究,最终人工定义了13种低层特征以准确描述精彩事件富含的语义信息;在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在有限的训练数据情况下,有效建立了各类精彩事件检测的HCRF模型,实现了进球、角球、点球和红黄牌事件的检测。实验证明了所提方法的有效性。(2)基于文本和视频多模态特征的体育视频精彩事件检测方法。通过对网络直播文本的分析和研究,构建精彩事件的关键词组合,运用HDP-HMM的方法对直播文本的进行分类;然后将直播文本中的时间标签和视频对准,从而定位精彩事件在视频中的发生位置;最后运用视频多模态信息作为HCRF模型的输入,实现视频起止帧的自动分割,实现了体育视频中精彩视频片段的自动分割。实验证明了本方法的有效性。最后总结并分析了本文的研究成果,同时为下一步的研究进行了展望。