基于镜头及场景上下文的短视频标注方法研究

来源 :上海大学 | 被引量 : 9次 | 上传用户:kiddlau2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字媒体技术、通信技术及网络技术的飞速发展,以视频为代表的数字媒体信息的数量急剧膨胀。短视频是一类内容庞杂的视频数据,如何在海量短视频数据中寻找到有效信息一直是用户关注的问题,由此产生了视频索引、视频检索等相关应用。视频标注就是解决这些应用的核心环节。目前视频标注已成为数字媒体应用和计算机视觉领域中的一个热点研究课题。从语义的角度,视频可以分割成若干种语义单位。不同的语义单位具有不同的语义内涵,在每个语义层次上均可实现语义标注。本文在对视频结构进行深入分析的基础上,对视频片段进行分割,形成不同的语义单位,并在镜头语义层、场景语义层对短视频进行标注。本文的研究成果与创新点主要有:(1)结合视频帧的全局特征和局部特征,提出了一种新的结合视频动态纹理和SIFT特征的镜头边缘检测方法。该方法首先对相邻两帧图像进行均匀分块,在RGB颜色空间下,计算帧中每个图像块的平均梯度。由所有图像块的平均梯度形成视频动态纹理,比较相邻帧图像的动态纹理,并结合相邻帧SIFT特征的匹配情况来判断镜头的变化。该算法对不同类型的视频数据进行镜头边缘检测,均能取得较高的检测准确率。(2)提出一种基于镜头事件的视频语义标注模型。在分析视频结构的基础上,提取镜头中的运动目标和镜头关键帧的背景颜色特征来表达一个镜头的事件,进一步延伸到场景事件的表达,最终由所有事件的集合来作为视频片段的主题。该模型以结合时序上下文的镜头运动对象和环境背景组成的事件组作为标注结果。该标注模型较好地代表了镜头的语义内涵,提高了视频语义表达的准确度。(3)提出一种基于半监督聚类的视频标注新方法。以镜头事件为单位,用事件组来标注视频。为了降低视频标注对已标注样本的依赖,利用半监督学习思想构造半监督K-means聚类算法,优化目标函数,使得最终的聚类结果既体现类间的低耦合及类内的高聚合,又体现类内局部的数据分布密度。该算法实现了诸如视频等多属性异构数据的聚类,提高了视频标注的准确度。(4)提出一种基于上下文的多核学习视频分类新方法。以传统的词袋模型为基础,根据相邻镜头关键帧之间具有相关性的特点提出了一种用于视频场景分类的模型。首先将视频片段进行分割,提取关键帧,对关键帧图像归一化。接着将关键帧图像作为图像块以时序关系合成新图像,提取新图像的SIFT特征及HSV颜色特征,并将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习,选取合适的核函数组对每个图像进行训练,最终得到分类模型,得到较好的分类效果。上述研究成果可广泛应用于视频分类、视频索引、视频检索、视频内容理解、视频数据管理等诸多领域,具有重要的理论意义和较高的应用价值。
其他文献
红色文化旅游不仅是现代旅游行业中的一个重要组成部分,更是进行全民革命思想教育、宣传社会主义核心价值观的重要阵地。贵州的红色文化作为我国红色革命历史上的一个重要组
2015年12月20—22日.全国第一届情绪与健康心理学学术研讨会在深圳大学顺利开幕。本次会议由长期从事情绪与健康研究的著名专家、教育部长汀学者、中国心理学会副理事长、深圳
传统的无人机巡检航拍图中的电力连接金具销钉缺陷检测依赖人工进行标注,针对此问题,借助深度学习缺陷检测算法RetinaNet自动提取正常、缺陷样本的特征,完成低层特征和顶层特
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
对上部建筑来说,地基土发挥着至关重要的作用,其优劣跟地基处理方式的选择与施工等有直接关联。因而在选择地基处理方式前,应对地基土问题有一个详细地了解,以确保建筑工程的质量
随着第三产业在我国蓬勃兴起,物流业在经济发展中发挥着越来越重要的作用,因此物流产业已经逐渐成为学术界研究的热点问题。本文围绕着我国物流产业发展的影响因素、效率和竞争
目的:探讨球药隔重楼中分离得到的球药隔重楼凝集素(PFL)的肿瘤细胞毒性及其可能的机制。方法用交换层析法纯化PFL同源二聚体;通过噻唑蓝(MTT)法、形态学观察、乳酸脱氢酶(LDH)法、糖
视觉目标跟踪可为计算机视觉的高级任务(如图像理解、行为分析等)提供技术支撑,因此一直都是计算机视觉中最活跃的研究领域之一,被广泛应用于增强现实、智能视频监控、目标识
生态问题不单纯是环境问题,也是民族地区经济社会发展的重要问题。生态环境的恶化制约着民族地区经济社会的发展。为防止民族地区生态环境日益恶化,促进民族地区经济社会的可