【摘 要】
：
人工智能技术的进步,推动了学习科学和认知科学领域的快速发展,探究人工智能技术在个体行为、认知、情感方面的应用前景,深化数据科学与教育科学领域的深度融合,实现数据驱动的个体潜在特征的深入挖掘分析,是人工智能领域急需解决的关键问题。关于个体情感状态的感知和测量一直是教育学、心理学和计算机科学领域研究人员关注的重点问题,如何对个体外显的行为数据进行精准的采集和提取,发现潜藏的内部心理特征,是人工智能领域
论文部分内容阅读
人工智能技术的进步,推动了学习科学和认知科学领域的快速发展,探究人工智能技术在个体行为、认知、情感方面的应用前景,深化数据科学与教育科学领域的深度融合,实现数据驱动的个体潜在特征的深入挖掘分析,是人工智能领域急需解决的关键问题。关于个体情感状态的感知和测量一直是教育学、心理学和计算机科学领域研究人员关注的重点问题,如何对个体外显的行为数据进行精准的采集和提取,发现潜藏的内部心理特征,是人工智能领域在未来一段时间内研究的重点问题。通过大量的文献研究,我们发现多模态情绪识别领域存在的主要问题有:对多模态情绪识别的研究关注不足,未形成系统化的研究模型;多模态数据的表征方式不同,数据融合困难;单模态数据情感信息价值密度不明;对多模态数据的融合成效缺乏系统分析。基于此本文构建了基于 UDP-MIF（Uni-modal Data Perception-Multi-modal Information Fusion,单模态数据感知-多模态信息融合）的多模态情绪识别模型,利用人工智能领域先进的技术模型构建面向单一模态的数据感知通道,实现对文本、语音、视频数据的整合分析,探究多模态数据之间的信息互补机制,构建了基于神经网络的单模态情感分类模型和多模态情绪识别模型,通过大量实验分析,发现多模态数据在情绪识别研究中复杂的相互作用关系。主要取得了以下创新性成果:1、构建了基于UDP-MIF的多模态情绪识别模型。利用模型级融合的思想构建基于“单模态数据感知-多模态信息融合”的多模态情绪识别模型,实现面向“文本-语音-视频”数据的多元感知与融合,利用不同模态数据之间的信息互补机制,提升情绪识别的准确度。采用人工智能领域先进的研究成果,构建面向文本、语音、视频的单模态数据的数据感知通道,生成面向多模态情绪识别的文本情感向量（TSV）、语音情感向量（ASV）、视频情感向量（VSV）;通过对单一模态情感特征向量的拼接与融合,探究多模态数据对情绪识别准确度的影响机理,对多模态数据的情感信息价值密度以及不同模态数据的融合成效进行深层次的挖掘分析,进而形成面向多模态情绪识别问题的系统化研究模型。2、提出了一种基于深度学习的多模态融合算法。选用人工智能领域的先进研究成果,对单一模态数据采用最适合的模型和方法对单模态情绪识别的效果进行优化,以此来提升多模态情绪识别的准确度。构建了面向文本、语音、视频的单模态情感分类模型:对于文本模态,在上游阶段利用谷歌的BERT模型进行迁移学习,构建文本词向量,在下游阶段,利用TextCNN模型和BiLSTM+Attention模型分别对词向量进行提取,通过模型的融合提升文本情感分类的准确度;对于语音模态,构建了基于LSTM+Attention的语音情感分类模型;对于视频模态,构建了基于CNN的视频情感分类模型,最后通过对单模态情感特征向量的拼接与融合,分析个体的真实情感状态。3、通过大量研究实验对单模态数据的情感信息价值密度和多模态数据的融合机制进行了系统讨论。在南加州大学SAIL实验室开发的IEMOCAP数据集的基础上,进行了大量基于单模态数据和多模态数据的情绪识别实验,对本文提出的情绪识别模型的进行了充分验证,并从多个维度对情感信息的价值密度和多模态数据的融合机制进行了讨论。研究结果显示,多模态数据的信息互补机制能够有效提高情绪识别的准确度;在本文所选用的IEMOCAP数据集中,文本数据的情感价值密度高于语音和视频数据;基于“文本-语音”的多模态数据能够在很大程度上表征个体潜在的情感状态;在同等条件下,本文提出的基于UDP-MIF的多模态情绪识别模型在多模态情绪识别问题中能够取得良好的表现。
其他文献
高中阶段的化学教学，不仅需要传授给学生相应的化学知识，更重要的是培养学生的学习兴趣，帮助学生养成适合化学科目的学科思维，因此，必须针对学生学习兴趣培养的意义进行分析，并且多措并举，通过教学理念、教学模式和教学方法等方面的创新来提高课堂教学效果，在教学过程中培养学生的学习能力，在尊重学生身心发展规律的基础上促进学生的全面发展。
讲好新时代中国故事,要以全球化视野和网络化思维,把握移动化、社交化、可视化传播趋势。立足不同传播语境,通过打造有人情味的故事内核,创造网络化的叙事方式,聚合全球讲述者,实施精准化的受众策略,覆盖多元"讲台",创建讲好中国故事的国际传播体系。
随着互联网技术的飞速发展和信息时代的全面到来,网络平台已成为各种观点碰撞汇聚和社会舆情的放大器,而网络舆情治理水平己经成为衡量政府治理体系和治理能力现代化的重要标准之一。突如其来的新冠疫情,不仅是对政府应急管理能力的重大考验,也是对政府网络舆情治理能力的重大挑战。由于突发公共卫生事件具有复杂性和不可控性,其网络舆情扩散性更强、渗透率更广,治理难度也更大。但是目前学术界对于公共卫生事件网络舆情治理的
农产品供应链受农产品特性的影响,供应链管理难度较大。现如今物联网、移动互联网、大数据和区块链等新信息技术,被广泛应用在农业生产领域中,为农产品供应链带来了新的机遇。信息技术的发展使得农产品供应链从传统的价值链,转向以信息技术为基础的农产品价值链条,信息在农产品供应链的运营中起着重要的纽带作用。本文针对农产品供应链信息服务模式开展研究,研究内容可分为三个主要部分:首先,对国内外有关农产品供应链、信息
湖北省宜昌市五峰县作为“中国名茶之乡”,历史悠久,得天独厚的自然条件使得五峰县经济得到发展,特别是自2011年县城搬迁重建之后,成为新县城的渔洋关镇得到了前所未有的高速发展,成为是五峰县的政治、经济、文化中心和交通枢纽。渔洋关镇的发展既带动五峰县整体发展,也是五峰县发展趋势的体现。为了探索新县城搬迁前后渔洋关镇的具体变化,分析新县城重建所带来的渔洋关镇空间形态演变的特征,本文选取县城搬迁前后（20
伴随着近代中日之间的往来,伊藤博文的人物形象于19世纪80年初传入中国。从传入开始到20世纪20年代末共50年的时间里伊藤博文的在华形象主要可以分为四个发展阶段。第一阶段是初始印象时期。19世纪80年代初期,伊藤博文初步进入中国视野。1885年,伊藤博文正式在中国亮相,留下了负面的初始形象。第二阶段是良好形象建立时期。甲午前十年时间里伊藤博文的形象发生变化,良好形象建立,并经过甲午战争保留了下来。
随着人工智能技术的快速发展,大数据时代的来临,面对教育领域海量的知识资源如何巧妙地结合自然语言处理领域的相关技术更好地为学生、教师以及教育机构等服务是当前的一个研究热点。具体到数学领域,智能组卷、自动解题等都是目前自然语言处理技术与数学领域紧密结合的研究方向。智能组卷过程需要依据考察的知识点从试题库中选取合适的题型进行随机组合,而自动解题的过程往往也需要将不同类别的试题匹配到相应的解题模板。因此,
高效的癌症检测技术可显著提高癌症患者的生存率,因此提高癌症诊断精准度对其治疗具有十分重要的意义。荧光成像技术灵敏度高并且反馈迅速,在基础研究和临床实践方面应用十分广泛。研究表明,当荧光成像的区间逐渐红移至近红外二区（NIR-Ⅱ,1000-1700nm）时,可实现活体更深层组织的成像,且随着波长的红移,生物组织的自荧光和光散射现象也随之降低,可进一步提高癌症诊断的精准度。相比于目前报道的基于单壁碳纳
动物的配偶选择会影响其繁殖成功率,雌雄个体均会选择优质的个体做为配偶,如雄性会竞争个体较大的雌性作为配偶,雌性也趋于选择个体较大、亲缘关系较远的雄性作为配偶。个体较大的亲本或更高的繁殖投入,可能提高后代的适合度（如更快的生长和发育速度,更大的个体大小等）;近亲交配或远亲交配会造成近交衰退或远交衰退,会对子代生长发育和适合度产生不利影响。因此,系统分析和探讨亲本大小、亲本投入及亲本亲缘关系对其子代生
由于以硅基半导体为代表的传统电子器件的尺寸逼近物理极限,研究者们将目光转向分子电子学领域,其研究的主要内容为从底端分子出发构筑电子器件。分子器件包括分子导线、分子整流器、分子开关等。分子导线作为沟通分子器件与宏观世界的桥梁,具有非常重要的研究意义。研究分子线电子输运特征,最理想的方式是构筑“金属-分子-金属”异质结并研究其单分子电导。研究发现,间苯分子线存在相消量子干涉效应,使得1,4-对苯分子线