基于Bi-LSTM和注意力机制的人体行为识别方法的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:fuwanyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无论是商业角度还是社会角度上,人体行为识别技术在智能监控、人机交互、视频检索等领域都有着重要的应用价值。在人体动作本身具有高度复杂性、外界背景干扰、相机存在扰动等条件下,提高人体行为识别任务的准确率成为一个富有挑战性的研究内容,因此人体行为识别算法的研究有着重要的现实意义。本文深入研究了人体行为识别的相关技术后,主要工作如下:首先,构建了一种将视频分成若干段,每一段使用3D卷积神经网络的特征提取方法。考虑到传统的3D卷积神经网络输入连续帧图像是固定的,不能充分表征整个视频动作特征,本文首先将视频分成若干段,然后各分段进行3D卷积神经网络的特征提取。最后在UCF101数据集上进行测试,测试结果表明,分段的3D卷积网络准确率为82.7%,未加载预训练模型的双流网络的准确率为81.6%,实验表明,本文的分段3D卷积网络在视频特征提取上比2D卷积网络效果更好。其次,讨论了一种基于长短时记忆神经网络(Long Short Term Memory,LSTM)学习动作特征上下文的方法。针对动作时序信息既受到前文影响,又受到后文影响这一问题,本文使用两个LSTM网络并联的方式,分别对视频特征从前向后和从后向前处理,可以处理上下文的视频特征。最后在UCF101数据集上验证了该模型在人体行为识别任务上比单向的LSTM有着更好的表现。最后,提出了一种基于注意力机制的显著性特征提取的方案。由于图像不同区域具有不同的重要性,本文利用基于输入项的软注意力机制对特征图像各像素点分配不同的权重系数,使得网络更容易学到权重较大的区域。各分段视频的结果融合使用自注意力机制,通过本身的特征序列分布,分配各个分段的结果序列的权重系数。最后本文系统在UCF101测试集上与几种主流的人体行为识别方法比较:使用SVM的双流网络准确率为 88.0%,2DCNN+LSTM 网络准确率达到 88.6%,而本文的 C3D+Bi-LSTM+Attention模型在上的准确率达到90.7%,结果表明,本文提出的系统方案效果更佳。
其他文献
自从石墨烯第一次被英国曼彻斯特大学的学者利用机械剥离法分离出来,二维材料就因其独特的电子结构及物理化学性质引起了广泛学者的关注。由于摩尔定律的存在,更多的学者趋向于找到能够取代硅基材料的存在,其中过渡金属硫化物由于其独特的性质是最为瞩目的材料之一。作为研究最广泛的过渡金属硫化物MoS2被学术界称为“白色石墨烯”,理论和实验的研究表明单层MoS2是一种具有数值约为1.8eV直接带隙的半导体,这使它成
在疲劳裂纹扩展速率试验中,裂纹长度值的精确测量至关重要。传统目测法需要人工停机检测,耗费人工且存在着主观测量误差;而现有的大多数基于图像的疲劳试样裂纹检测系统仅适用于国家相关标准中的单一疲劳试样,不具有通用性,且更多系统采用单相机进行单面检测,不能有效地判断试样前后双面裂纹扩展的对称性和有效性,实际应用价值有限。因此本文以GB/T 6398-2017《金属材料疲劳试验疲劳裂纹扩展方法》规定的6类疲
癌症作为严重威胁人类生存的疾病,致死率极高,而且由于早期症状不明显,许多癌症患者的治疗被延误。有效的早期诊断则可以在很大程度上提高癌症患者的生存率。MiRNA可以作为有效的癌症早期诊断标志物,对于疾病的早期诊断具有重要意义。在本文中,我们搭建了一个基于气动辅助的微流控液滴检测平台,以两种肿瘤标志物miRNA-21(miR-21)与 miRNA-20a(miR-20a)为模型,建立同时在线检测 mi
Hilbert曲线是一种能够不自交地填充满正方体的离散分形曲线。通过从一维空间到N维空间的变换,Hilbert曲线在一定程度上保持了空间数据的联系;且Hilbert曲线已被证明是能够最好保持空间点的局部邻接性的空间填充曲线[1]。因此Hilbert曲线在空间数据索引领域具有广泛的应用[2],其画法也得到越来越多的关注。本文借助构造活动标架的方法,得到了 Hilbert曲线在刚体运动下的不变量,即离
手语(手势)识别是人机交互研究的一个重要的子课题,该课题不仅能帮助聋人群体更好的交流,还能极大的促进人机交互领域的发展。结合sEMG传感器和惯性测量单元的便携可穿戴设备的手语识别方式,获得了众多学者的关注和研究。本文针对这种手语识别中存在的困难,提出定位-标记模型进行数据库的构建,并针对手语数据的多样性问题提出数据增强方案,以增加训练模型的鲁棒性,最后提出识别-验证机制改进在线手语识别过程。本文首
随着移动机器人技术的快速发展,全地形移动机器人因具有运动灵活性和适应复杂环境的优点而得到广泛关注。针对非结构化环境与结构化环境,同一款移动机构很难高效的同时适应,虽然典型的履带式、步行式及轮腿式移动机器人均能适应,但是履带式及步行式机器人地面移动不够灵活且结构复杂,轮腿式机器人越障效率低。考虑非结构化环境中存在凹凸路面、深沟、斜坡等复杂地形,结构化环境中存在台阶、楼梯等障碍,本文旨在研究一款能够被
随着科学技术的发展和进步,有许多新材料投入医疗领域,镁及镁合金以其优异的生物相容性吸引越来越多的研究人员关注。然而镁合金的在体内环境中降解速率过快严重限制了其应用。针对这一点,研究人员采取了表面改性的手段,改善镁合金的生物相容性及耐蚀性,综合提高镁合金的性能,让镁合金在医疗领域的应用成为可能。本次实验根据骨科材料的要求,参考前人的实验结果,考虑了材料的力学性能、可降解性能及生物相容性设计了合金成分
15Cr-15Ni含Ti(15-15Ti)奥氏体不锈钢作为第四代先进钠冷快堆堆芯组件中的结构材料,具有较好的抗辐照性能与良好的高温强度,被我国钠冷示范快堆拟选用包壳材料。然而,我国关于包壳材料用15-15Ti合金的研究正处于初步阶段,材料的组织、性能和制备技术等方面尚不成熟。本文以15-15Ti奥氏体不锈钢为研究对象,通过设定不同的合金成分与热处理制度,系统地研究了不同Ti/C比合金在高温下MX相
服务型制造是在制造与服务不断融合发展的一种新型的产业形态。在全球制造产业向中高端水平发展的过程中,制造业的价值核心也正逐渐地从产品的制造环节转向服务环节,在此发展态势下,传统的制造企业开始由单一的产品制造模式向服务型制造模式进行转变。传统的制造企业由原来的以“生产加工”为主的商业模式演变成以“制造+服务”相融合的新产业形态,产品的研发、改进、维护、回收、再制造等具有服务特征的业务在整个制造产业供应
百年大计,教育为本。教育,牵动着每一个家庭,更关乎着国家强盛和民族复兴。而思想教育在国民教育体系中处于基础性、先导性地位,如何多措并举推动思想教育,促进学生高质量、内涵式发展是当今社会最关注,也是党和政府最关心的问题。统编本教材于2016年后在全国统一使用,这版教材无论在编写理念还是选材内容上都以“立德树人”为指导思想。现如今,语文这门学科的发展越来越趋向于综合性发展,尤其是在语文综合性学习教学中