预训练语言模型相关论文
近年来,深度学习先进技术层出不穷促进着语音合成技术快速发展,机器发出的声音越来越接近真人的声音。然而,相比于汉语、英语等通......
在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之......
实体匹配可以判断两个数据集中的记录是否指向同一现实世界实体,对于大数据集成、社交网络分析、网络语义数据管理等任务不可或缺.......
任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题，提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法，构......
为了降低楹联文化的学习门槛，激发年轻人对楹联文化的兴趣，提出了一种基于序列到序列预训练神经网络语言模型的楹联自动生成算法。该......
文本的语义匹配任务旨在计算文本在语义上的相似度，进而衡量两段不同文本的匹配程度。作为自然语言处理中的重要基础，文本匹配可用于......
法律文本挖掘是一种从法律领域的文本数据中挖掘出有用信息的计算机自动分析技术,受到了自然语言处理界的广泛关注。法律判决预测（L......
自然语言处理（NLP）研究从早期基于规则的方法转向基于特征分析的机器学习,再转向无需事先进行特征抽取的深度学习,发展很快,但因其需......
随着大规模预训练语言模型的推出，文本生成技术研究取得了突破性进展，但是在开放性的社交文本领域，生成的文本内容缺少拟人化特征。针......
新冠疫情开始以来,我国出境游行业遭遇寒冬,各国通过限制出入境等方式进行疫情的防控,随着疫情逐渐稳定,出境游在未来仍有发展的前......
近年来，预训练语言模型发展迅速，将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在......
基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言......
乐谱是人们进行音乐学习与交流的重要媒介。以MusicXML为代表的电子乐谱格式可准确记录音乐序列和歌词等信息，现已在音乐行业内得到......
民间文学文本中含有大量生动形象的修辞手法；人名、地名极其复杂，难以判断词与词之间的边界；与现代汉语表达差别较大，预训练语言模型难......
随着社会信贷消费的流行，待催收的违约用户逐渐增多。针对此问题，对Rasa对话系统开发框架中的自然语言理解模块进行改进，显著提升智能......
文本分类作为自然语言处理领域一项重要的研究课题,具有十分重要的实际应用意义。由于近年来深度学习相关技术的迅速发展,文本分类......
随着时代的发展,人们愈加注重便捷高效的生活。近年来,世界正处于互联网发展的快速阶段,用户可以在搜索引擎上查询各种问题。搜索......
机器阅读理解任务在近年来备受关注，它赋予计算机从文本数据中获取知识和回答问题的能力。如何让机器理解自然语言是人工智能领域长......
近年来,我国猕猴桃种植业发展迅速,根据联合国粮农组织2019年数据显示,其种植面积和年产量均已位于世界第1位。猕猴桃产量和质量受......
随着自然语言处理技术的发展,大规模的中文实体关系抽取数据集日趋完善,实体关系抽取技术也受到越来越多的关注。关系抽取在自然语......
随着我国移动网络行业和大数据技术的快速发展,各类互联网应用层出不穷,导致互联网用户规模呈指数级增长,因此累积了海量非结构化......
知识增强型预训练语言模型旨在利用知识图谱中的结构化知识来强化预训练语言模型，使之既能学习到自由文本中的通用语义知识，又能够学......
机器翻译是人工智能和自然语言处理研究中的一个重要研究领域,其目标是通过模型将源语言的语句自动转换为目标语言的语句,且保证二......
建筑工程项目具有规模大、工艺复杂、环境多变等特点,极易发生施工安全事故。施工安全事故是多种致险因素共同作用的结果,因此施工......
方面级情感分析（aspect-based sentiment analysis,ABSA）任务的目标是在给定目标文本与方面词的条件下进行情感极性的预测。当前,方......
共指消解旨在识别文本中指向同一实体的不同表述,在多项高级自然语言任务中起到重要的基础支撑作用。随着自然语言处理的快速发展,......
当下主流的阅读理解模型,通常依赖于多头自注意力机制来获取与问题文本相似度最高的答案,其成功的秘诀主要在于预训练语言模型对语......
2016年,中国最高人民法院首次提出建设立足于时代发展前沿的“智慧法院”。在这样的形势下,构建法学领域的知识图谱是建设“智慧法......
针对罪名分类研究中常出现的样本数据量少、罪名类别分布不均衡和罪名相似的问题,基于BERT和关键词,提出一种同时对属性和罪名进行......
议论文自动生成是自然语言生成中一项极具挑战性的任务,与诗歌、故事等生成任务不同,议论文文章长度更长,且要求具有明确的核心论......
属性抽取是构建知识图谱的关键一环,其目的是从非结构化文本中抽取出与实体相关的属性值.该文将属性抽取转化成序列标注问题,使用......
随着信息技术的飞速发展带动网络购物的迅速普及,各大电商收集了大量包含消费者主观意见的评论信息,这些信息蕴含着巨大的商业和社......
人类学习知识往往遵循由简单到复杂,由基础到尖端的“先修”顺序。错误的学习顺序不仅会加大学习难度,而且容易因为不理解学科概念......
药物治疗对于人类的生命健康起着至关重要的作用。而药物研发过程复杂且漫长,需要投入巨大的人力和研发经费,高昂的研发成本最终影......
对话系统作为自然语言处理的重要研究分支,在近几年持续受到研究者的关注。海量数据的出现和深度学习的快速发展为对话系统的建模......
针对中文命名实体识别中词嵌入表示不充分,以及传统分词方法存在分词错误引起误差传播的问题,提出两种词嵌入编码策略,并结合预训......
在大数据环境下,从海量的互联网数据中获取热点话题是研究当前互联网中民意民情的基础,其中文本聚类是得到热点话题最常用的方法之......
互联网上产生大量的非结构化文本数据,如何有效的从这些非结构化的文本数据中挖掘并抽取实体和关系信息就要涉及到实体关系抽取研......
随着Web2.0技术的快速发展及人工智能技术的日益成熟,互联网环境下累积了海量文本数据,其具有海量、多源、异构等特点且蕴含了极其......
因果关系抽取是自然语言处理的一个重要研究方向,现有研究将因果关系抽取转化为关系分类或序列标注任务。文本中的因果关系有丰富......
细粒度情感分析,又被称为多方面情感分析,是自然语言处理领域重要的子方向,相较于传统的句子级或文档级情感分类,需要对每个方面词......
自然语言理解是任务型人机对话系统中的基础性研究工作,对于给定用户输入,旨在把自然语言转换成计算机能够理解的结构化语义表示。......
以BERT、GPT为代表的、基于超大规模文本数据的预训练语言模型能够充分利用大模型、大数据和大计算，使几乎所有自然语言处理任务性......
对抗样本能够显示出深度神经网络（DNN）的固有漏洞,这些攻击性的样本是攻击者在真实样本的基础上恶意制作的,旨在使目标DNN行为异常。......
基于深度神经网络（DNN）的OCR技术目前已能够在较为规范的数据集上取得较高的准确率。但是,当应用于真实场景时,图片重要信息丢失、图......
命名实体识别任务作为构建领域知识图谱的基础支撑,目前的相关研究主要集中在开放领域,针对垂直领域的研究进展比较缓慢,无法有效......
随着在线文娱市场规模的不断扩大,人们对精神文化和生活品质的追求在不断上升,社会对文化娱乐领域的应用需求也越来越高。面对日益......
