【摘 要】
：
传统的视频情感识别工作主要集中在面部表情、人体的动作行为等,忽略了场景和对象中包含大量的情感线索及不同对象之间的情感关联.因此,提出了一个基于视觉关系推理和跨模态信息学习的音视频特征融合网络模型用于预测视频情感.模型主要包括三部分:对象间的情感关系推理、声学特征提取、跨模态交互融合.首先,采用Mask R-CNN模型提取出包含物体的区域并提取出相应的特征序列,利用图注意力网络对视频帧中的不同区域之间的情感关联进行推理,找到视频帧中的关键区域;然后,利用双向长短时记忆网络提取对数梅尔频谱片段的帧级上下文信息
【机 构】
：
郑州大学 信息工程学院,郑州 450001;中国传媒大学 信息与通信工程学院,北京 100024;中央音乐学院,北京 100031
论文部分内容阅读
传统的视频情感识别工作主要集中在面部表情、人体的动作行为等,忽略了场景和对象中包含大量的情感线索及不同对象之间的情感关联.因此,提出了一个基于视觉关系推理和跨模态信息学习的音视频特征融合网络模型用于预测视频情感.模型主要包括三部分:对象间的情感关系推理、声学特征提取、跨模态交互融合.首先,采用Mask R-CNN模型提取出包含物体的区域并提取出相应的特征序列,利用图注意力网络对视频帧中的不同区域之间的情感关联进行推理,找到视频帧中的关键区域;然后,利用双向长短时记忆网络提取对数梅尔频谱片段的帧级上下文信息,对视觉信息进行补充;最后,将多头注意力机制应用到跨模态交互融合模块中去学习不同模态信息之间的隐藏关联,并将利用跨模态注意得到的音视频特征利用门控神经网络进行融合.所提出的模型在数据集Video Emotion-8和Ekman上具有较好的精确度.
其他文献
针对双脉冲射流流动控制机理不明的问题,建立了双激励受迫Van der Pol理论模型,用于指导双脉冲射流流动控制参数选取及揭示其流动控制机理.该理论模型基于弱非线性稳定性理论,通过对不同参数下模型方程的求解,将理论模型与典型分离流场中双脉冲射流的数值模拟进行对比研究,发现该理论模型与数值模拟结果在频率、相位等特性上相吻合,验证了该模型的有效性.其中,理论模型和数值模拟结果均表明:双脉冲射流在折合频率都为1且同相位时控制效果最好.进一步的分析表明,脉冲射流依靠流动不稳定性增强主流与分离流间的动量传递以抑制流
随着环境问题的日益突出,传统能源转型的问题受到了世界广泛关注,在第七十五届联合国大会一般性辩论上,我国政府明确表态二氧化碳排放力争于2030年前达到峰值,努力争取2060年前实现碳中和.以此为背景,我国将新能源产业作为“十四五”期间的重点工作之一.太阳能光伏产业作为新能源产业结构体系中发展较为成熟的产业,在碳中和背景下的规模将进一步扩大,并成为“双碳”目标得以实现的重要保证.太阳能光伏产业的发展是我国推动能源结构转型的重要保障,随着环境问题日益严峻,我国通过优化产业结构体系加快太阳能光伏产业的发展,在不断
退役的动力电池随着新能源电动汽车产业的加速发展而逐渐增多,为了对退役的锂电池进行评估、维护、梯次利用,本工作提出一种老化锂电池模组关键电池性能参数的量化分析研究方法,采用免拆解的“零时间成本”的快速检测方法,仅需要一次充电数据即可在单体层面上对内阻、相对充电时间差值和充电截止电压等关键电池参数(key battery parameter,KBP)进行表征,通过这些KBP的箱型图检测异常单体.基于容量增量(capacity increment,IC)曲线估算各单体的可充电容量以及放电截止时刻可继续放出容量,
随着《储能技术专业学科发展行动计划(2020—2024年)》的发布,全国至今已有26所高校设置了“储能科学与工程”本科专业.储能科学与工程是一个多学科深度交叉的专业,涉及材料、电化学、工程热物理等众多领域.因此,本科专业知识体系与课程设计非常重要,尤其是专业核心课程的设置.以几所代表性高校的储能科学与工程课程体系为例,并结合相关传统专业中的核心课程设置,针对国家需求和学科体系中专业知识的覆盖程度,建议选取储能材料、工程热力学、工程力学、传热传质学、电工电子技术和控制理论作为储能科学与工程本科专业的核心课程
压电电机是解决传统电机在精密驱动方面局限性的一种关键驱动器,其中采用逆压电效应和惯性位移原理的压电惯性电机更是新颖热点.黏滑模式相比滑移模式更能满足精密控制运动的要求,是压电惯性电机研究发展中的重要组成.首先介绍了黏滑模式压电惯性电机的基本原理,详细综述了黏滑模式压电惯性电机的研究进展,包括信号控制式压电惯性电机、摩擦控制式压电惯性电机和结构控制式压电惯性电机,最后探讨了黏滑模式压电惯性电机未来可继续改进的部分要点.
提出一种新型连续梯度变截面薄壁圆锥管(FGTT管),其截面直径沿其轴向以一种函数梯度的方式连续非线性变化,较传统等截面薄壁圆管(圆柱管)、连续线性变截面薄壁圆管(圆锥管)具有更好的可设计性及更大的吸能潜力,工程应用价值较大.首先,建立了FGTT管轴向冲击有限元数值模型并进行了精度验证,以此为基础采用有限元数值模拟方法分析比较了FGTT管与传统圆锥管轴向冲击吸能特性,并分析了上下直径差、梯度指数、冲击速度对FGTT管轴向冲击吸能特性影响规律;在此基础上,以FGTT管壁厚、上端半径和梯度指数作为设计变量,以其
随着社会的不断发展,对能源的需求与依赖也随之增大.面对当前这种形式,人们除了采用传统的火力发电以外,逐渐开始利用水能、风能、太阳能等清洁能源发电.清洁能源往往通过自然界存在的能量进行发电,因而其发电具有随机性和间歇性,从而影响电压与电网的稳定连接.储能电池可作为介质来维持电网与清洁能源之间的稳定.
为了提高储能系统工作效率,提高设备状态监测及故障预防的风险评估能力,以分布式开展、利用数据集进行高速运算及存储成为储能系统现代化发展的必然趋势.依托智能运维、分布式储能、运行优化、容量分配等,建立储能系统数据分析模型,以降低线损、优化选址、提高效率为基础,确保储能系统高效率运行,解决大规模分布式储能容量配置问题,提高高峰调峰收益.
为了提高锂离子电池健康状态(SOH)的预测精准度和稳定性,针对常规特征选取复杂且无法有效利用等问题,提出了一种联合一维卷积(1DCNN)与长短记忆网络(LSTM)的电池SOH预测方法.首先采用多通道串联电压、电流、温度构建多维特征,然后采用1DCNN从样本数据中提取高级数据特征输入LSTM中以有效利用历史信息,最后通过全连接层输出电池SOH的预测结果.采用NASA锂离子电池容量衰减数据,对所应用的联合算法进行验证,结果表明,相较于其他预测算法,基于1DCNN-LSTM的算法具有更准确的SOH预测结果,其平
从语言学上分析了基于知识本体与基于词向量的词语语义相似度计算方法的不同特点,指出两类方法进行语义计算的优点与不足,并据此提出了基于强化学习策略的混合式语义相似度计算方法.该方法不但能够解决使用单一方法无法解决的语义计算问题,而且计算结果更接近人工判定结果,与MC30人工判定值的皮尔逊相关系数达到0.917.最后指出了提升该类算法性能的途径,一方面,可将更多的语言学信息作为观测变量,使得学习算法面临的环境更接近真实语言环境;另一方面,可使用更高层次的语言学任务结果作为奖励,增加算法解决问题的能力.