基于关键帧提取和跨模态特征融合的视频语义生成描述算法的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:iamfly2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的发展,社交媒体平台每天都会产生庞大数据规模的视频和文本,通过视频和文本数据,互联网用户能够得到来自社会的各式各样的信息。短视频是目前社会信息的一个重要来源,而随着这种潮流的兴起,如何保障短视频的内容合法健康,构建安全、积极向上的网络平台成为了社会关注的问题。然而目前对于短视频内容的甄别主要还是通过人工审核来进行的,这种方式会耗费大量的时间和人力,并且随着人力的消耗,甄别结果也会不够准确。随着人工智能的发展,如何在深度学习的环境下减少人工和时间成本,更加准确的进行视频内容的甄别审核成为了研究的重点。对视频的甄别审核可以采用视频语义生成描述算法来实现。目前视频语义生成描述算法主要存在以下两个问题:首先,传统算法采用等间隔采样的方式来提取视频特征,会造成关键帧丢失,使得视频关键语义缺失,进而导致生成的自然语言描述不够准确,而且等间隔采样会导致冗余帧的存在,从而增加算法后续步骤的时间复杂度;其次,传统算法在提取特征时,只增加了时间特征,而对于图像和视频来说,视频的空间特征也富含了潜在的语义信息。针对上述问题,本文提出了基于关键帧提取和跨模态特征融合的视频语义生成描述算法。为了提取关键语义帧,减少冗余帧,进一步降低算法的时间复杂度,采用了知识图谱来获取视频帧的关键语义信息,利用知识推理的方法得到其关联语义信息,从而得到有效表述视频信息的关键语义帧。为了有效提取视频帧的空间潜在语义信息,采用了空间注意力机制,结合时间特征,能够生成准确流畅的自然语言描述。本文在两个基准视频字幕数据集上评估了所提出的算法并进行了详细的实验对比,结果表明本文提出的算法解决了上述问题,并且能够生成流畅准确且符合人类逻辑思维的自然语言描述。
其他文献
党的十九大报告明确在新时代要推进实施乡村振兴战略,要把农业农村农民问题作为全局工作的重中之重,提出小农户要与现代农业发展有机衔接。随后中央印发了《乡村振兴战略规划(2018-2022年)》,出台了指导小农户与现代农业发展有机衔接的《关于促进小农户和现代农业发展有机衔接的意见》,中央一系列针对小农户的发展政策措施的出台把扶持小农户,提升小农户发展现代农业能力,加快推进现代农业发展提到了历史新高度。因
党的十八大以来,习近平总书记对文化与旅游的融合发表了一系列重要讲话,明确了文化是旅游的灵魂,旅游是文化的载体,深刻解释了文化与旅游之间的密切关系,强调了文化与旅游融合发展的重要性。所以文化遗产旅游成为近些年来旅游的热门选择。文化遗产旅游与其他旅游形式不同,其具有传承文化的价值,能给游客科普历史文化知识,满足游客的期望。但是,目前文化遗产旅游地发展面临着游客涉入程度低,景区与游客互动性差以及景区游客
我国公益诉讼制度在经历了两年的试点后,已于2017年7月在全国范围推开。在实践中,环境行政公益诉讼检察建议在公益诉讼制度中扮演了重要角色,起到了关键性作用。本文针对环境行政公益诉讼检察建议的相关问题进行梳理和研究,在总结归纳学者观点后,也尝试提出自己的观点。全文共分为四个部分:第一部分,阐述了环境行政公益诉讼检察建议的研究背景,简要归纳相关研究的现状,强调了研究的目的和意义,并说明了本文所运用的研
凭借灵活的飞行特性以及良好的信道特征,无人机(Unmanned Aerial Vehicles,UAV)可作为空中基站提供通信服务。并且,将无人机引入蜂窝网络,形成无人机辅助蜂窝网络架构,可有效扩展系统容量,缓解基站负载,有望在通信恢复、热点覆盖等场景发挥重要作用。在无人机辅助蜂窝网络中,面对大量重复数据传输带来的流量拥塞,主动缓存技术将某些流行的内容提前放在无人机等离用户更近的边缘节点上,可有效
随着区块链技术的发展,越来越多的领域开始尝试区块链解决方案,区块链因为不可篡改,按时间戳排序数据的特点在供应链场景中具有溯源的优势。虽然现存区块链溯源系统也具有防
高铁为人才、知识的交流提供便利,知识密集型服务业以知识、技术为基础,因此二者关系紧密。研究高铁对知识密集型服务业集聚的作用,对我国加快知识密集型服务业发展、规划高速铁路网、促进区域协调发展具有重要意义。在理论研究层面,论文分析了高铁对知识密集型服务业集聚的作用机理。从高铁压缩时空距离、提升城市可达性入手,详细阐述了高铁通过扩大沿线城市市场规模、加速区域间人才流动、强化知识溢出效应,促进知识密集型服
近年来,越来越多的泰国学校将汉语列入到课程计划当中,也有越来越多的泰国学校加入到中国国家汉办国际汉语教师志愿者项目中来。目前国家汉办每年派往泰国的汉语教师志愿者超
高阶煤储层地质强非均质性是影响CO_2-ECBM工程可行性和有效性的重要因素。本论文以沁水盆地南部高阶煤为研究对象,基于高压压汞、低温液氮吸附、CO_2吸附、CO_2/CH_4等温吸附以及多组分渗流等实验以及数值模拟方法,揭示了研究区煤基本性质,分析了影响研究区CO_2-ECBM地质参数,研究了地质参数空间变异性特征,建立了基于地质参数空间不确定性分析的CO_2-ECBM选区选井方法,提出了选区选
随着物联网(Internet of Things,IoT)的兴起,无线传感网络(Wireless Sensor Network,WSN)的应用变得越来越广泛。传统的WSN采用分布式控制方式,网络管理不够灵活,传感节点能量有限,网络寿命较短。软件定义网络(Software Defined Network,SDN)的出现解决了 WSN所面临的大部分挑战。基于中心化控制与数控分离的思想,传感节点的功能被
在智能电网中,通过收集和分析用户的近实时用电数据,控制中心能够对电网运行状态进行有效的监控和预测,并以此来提高电网系统的安全性和可靠性。然而,在对用电数据进行分析和处理的同时,用户隐私泄露的问题也随之而来。例如,通过对用户在各时间段的用电量数据进行分析,攻击者可以很容易地推断出该用户的日常生活习惯。因此,亟需一种既能收集用户近实时用电数据又能为用户提供隐私保护的密码学方案。考虑到与同态加密相结合的