一种新的混合深度学习模型提升图像人与物体交互活动识别

来源 :广西大学 | 被引量 : 0次 | 上传用户:yudanlei198
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人与物体交互活动的识别是人工智能领域最热门的研究方向之一,是计算机视觉研究领域不可或缺的重要研究部分。同时,人与物体交互活动识别是图像理解、自动描述图像内容等研究的基础。在实际应用中可以广泛用于网站图像搜索,安保系统检测等。本文提出一种新的混合深度学习模型,旨在提升和改善图像中人与物体交互活动识别的效率。模型首先设计一种基于深度学习的方法对图像三维空间关系信息进行建模,探索人与物体交互活动的构图规律;其次,创新地设计一种混合深度学习模型,将图像中物体的特征、物体间三维空间关系信息等图像高级特征融入到深度网络架构学习中,建立起从特征学习到交互活动识别的一体式推理学习过程,最大程度利用各种图像空间构图信息,提升图像人与物体交互活动识别效率。本文的主要工作包括三个方面:(1)本文创新地设计了一种基于图方法的立方体多粒度空间关系分析模型。模型将人与物体的三维空间关系离散抽象化为立方体结构,进行多种粒度的三维空间关系分析,实现了图像空间关系的详细分析、以及图像空间构图规律的归纳总结,可以辅助图像主要人与物体的探测以及人与物体交互活动的识别。(2)为了智能地探测图像中主要的人与物体,为后续的人与物体交互活动识别,提供可靠的研究目标。本文融合多种机器学习方法,深入分析人与物体的三维空间关系信息,统计归纳人与物体的空间构图规律,建立从空间关系到人与物体组合规律的预测模型,推断出图像主要人与物体组合。(3)本文创新地提出一个基于因子的混合深度学习模型,该模型通过多项相乘连接机制,将多种图像特征以及图像三维空间关系等信息融入图像交互活动预测中,实现从图像空间结构到图像高级内容理解的非线性映射。模型首先使用多层受限玻尔兹曼机分别提取人和物体的特征;然后创新地使用基于因子的多项相乘连接机制,将图像特征、三维空间关系、空间构图规律等融入到深度网络架构学习中,最大程度利用各种图像空间构图信息,指导深度学习架构学习对交互活动识别最有用的高级不变性特征,从本质上提升人与物体交互活动识别的效率。为了验证本文提出的混合深度学习模型在人与物体交互活动识别上的表现,本文共采用两种数据集,通过横向对比试验手段,与多种文献可考的方法,在多种评价指标上进行了对比试验,试验结果证明本文提出模型的有效性。
其他文献
互联网技术的发展,在改变人们生活方式的同时,也引领了传统教育教学模式的变革。随着网络教学资源的不断丰富,在线培训已经成为一种新的教育教学模式,通过搭建资源共享平台,可打破传统教学模式对时间和空间的限制,因此,"互联网+"背景下的在线培训业务呈现出快速增长的势头。《Hadoop大数据平台构建与应用》以Hadoop大数据平台的建设为主要研究内容,语言精练,通俗易懂,操作步骤描述详细,并配有大量操
期刊
如何减少浪费、降低运营成本和提高工作效率及服务水平,提高员工用餐体验和减少订餐、用餐耗时,是企事业单位食堂共同面临的问题和需求。研究开发一种集订餐和交互功能于一体的手机订餐交易管理系统,将其应用于企事业单位的食堂订餐业务中,不仅可为单位员工提供一种灵活便捷的订餐和交流餐饮知识的方式,有效减少员工在订餐上所耗费的时间,还可节省食堂经营成本和工作效率,打造便捷的食堂订餐及就餐模式。本论文阐述了基于An
在高校中,除了计算机信息类专业学生开设计算机课程之外,计算机基础应用课程也是学校所有专业学生修读的公共基础课程。这些课程的教学实践以及学生的毕业设计,对计算机公共实验室的需求量和使用率不断提高。这就需要有与之相适应的信息管理手段,以提升计算机公共实验室管理的效率和有效性,更好地为学校教学发展服务。本文分析了广西某高校的计算机公共实验室管理现状和发展需求,给出了计算机公共实验室管理系统应具备的身份核
随着医院信息系统的建设发展,医院积累的医疗数据日益增多。如何从医疗数据中发现有价值的信息,具有重要实现意义。据有关报道,我国妊娠期糖尿病发病率在逐年上升。妊娠期糖尿病会对母婴健康造成不良影响。预防妊娠期糖尿病的发生是卫生部门一项重要的工作。本文以孕产妇产检的诊疗数据和住院期间的诊断数据为基础,设计开发妊娠期糖尿病关联规则挖掘系统,对妊娠期糖尿病的危险因素以及妊娠期糖尿病与妊娠并发症、母婴妊娠结局的
旅行商问题是一个经典的组合优化问题,它在印制电路板钻孔、基因组测序、飞机航线安排和晶体结构分析等领域有着广泛应用。旅行商问题也是一个NP难问题,它在运筹学和理论计算机科学中有着重要地位。因此,求解旅行商问题具有重要的理论研究价值和工程应用背景,它已经成为组合优化问题中的研究热点之一。旅行商问题属于NP难问题,求解它的精确算法已经被淘汰。国内外许多研究人员采用群体智能优化算法对旅行商问题进行了研究,
当前大数据时代的到来,已经给各行各业带来了翻天覆地的变化和发展,更是推动了我们国企业的创新进程,为了能更好的适应新时代,利用大数据、云数据等手段推动行业创新营销,增加核心竞争力。中国联通作为国内三大运营商之一,针对市场调研数据的分析在如今的环境之下,已经变成了一项复杂的工作。本文基于服务的云模型平台,不仅能集各省各地市不同人员的分析角度,更是能减少资源成本,把隐藏在后台数据中的信息集中和提炼出来,
台风是一种体系庞杂的大气运动系统,具有严重的破坏性。目前世界上对台风强度预测还处于一个探索和研究的阶段,随着现代化天气业务和服务需求的变化,对台风监测系统自动化程度要求也随之提高。经过40多年的发展,预测员们正逐步将人工智能应用于台风强度预测,近年来,基于深度学习的卷积神经网络(Convolutional Neural Networks,CNN)正在成为研究的热点,此类对象分类技术也日趋成熟,但在
内部边界网关协议(Internal Border Gateway Protocol,IBGP)是互联网不可或缺的基础设施,若没有正确合理配置,很容易产生路由环路和次优路由。这些路由异常问题是非常有害的,它们会增加路由器的工作负荷,导致路由器的性能下降。因此解决上述IBGP路由异常问题是至关重要,但传统的解决方案要么配置复杂,要么消耗过多的资源。所以研究如何有效的解决IBGP路由异常的同时使得解决方
随着大数据时代的发展,对海量数据进行高效、安全的存储变得越来越重要。分布式安全存储技术结合分布式存储技术和数据加密技术,具备了安全、海量存储等特点,已成为当前信息安全领域研究的一个热点。在分布式存储技术中,对存储节点的选择是一个关键问题。选择的节点是否合理,会影响到系统的性能和存储容量的有效利用。在对现有节点选择算法进行研究后,本文提出了一个更加高效的算法——基于多属性决策的节点选择算法。该算法在
太平洋生物科学平台(Pacific Biosciences)和牛津纳米孔平台(Oxford Nanopore)的长序列(long read)测序技术的兴起,促进了基因组数据分析的发展。与短序列(short read)测序技术相比,长序列测序技术可以解决规模更大、更复杂的基因组组装问题。但是,长序列的错误率非常高,Pacific Biosciences测序技术产生的长序列的错误率约为10%~15%,