中文词语的语义表征与学习研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:tryst8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为众多自然语言处理任务的基础,词语的语义表征和学习成为了近年来的研究热点。最初的大量研究成果都是针对英语,德语等符号形语言,而中文作为象形文字具有其独特的特点。于是一些中文研究者利用中文词语中字,偏旁部首,部件构造等细粒度特征对中文语义表征算法进行了优化,使得词语的语义表征在中文自然语言处理任务中效果更好。然而,这些现有中文语义表征的算法仅仅关注于词语内部原始的特征,没有深度挖掘出词语-词语之间的语义联系以及词语内部更具针对性的细粒度特征,并且中文语料库中存在大量的错别字,但现有算法都没有考虑词语中错别字的情况,这些都极大的限制了词语的表征能力,最终影响了下游任务算法的效果。本文的主要内容以及创新点可以分为以下三个方面:第一,针对现有算法学习词语的语义表征过程中只关注在词语固定窗口里局部上下文信息,而忽略了窗口外全局上下文信息的问题。本文首次提出了语义邻居图以及软采样的概念,并基于此提出了全局邻居语义表征算法(GSN)。该算法利用全局共现信息以及相同的字符信息来构造全局的语义邻居图,对于构造好的图使用软采样来学习图中词语-词语对之间的语义关系,最终有效的提升了中文词语的语义表征能力。第二,针对现有原始细粒度特征无法有效捕捉词语语义表征的问题,本文提出了一种利用字的构造部件的n-gram信息的算法,以更好地表征词语中的字符信息。该算法通过提取字符的构造部件的n-gram信息作为字符的特征序列,同时学习词语的原始特征和新的特征序列能更有效的捕获词语的语义信息,有效的提升了词语和字符的表征能力。第三,针对当前中文语料库中存在大量错别字,而这些错别字影响最终词语表征能力的问题,本文提出了一种利用字符构造部件以及拼音字母的算法,该算法通过同时构建字符构造部件和拼音字母的n-gram信息作为字符的特征序列,在学习词语的语义表征的过程中同时学习构造部件的特征序列以及拼音字母的特征序列,尽可能的减少了错别字对词语语义表征能力的影响,使得词向量的有效性和鲁棒性都得到了极大的提升。
其他文献
主流的软件开发模式从瀑布模型一直演进到敏捷开发方法,即从面向文档的线性开发模式转变成面向用户的迭代开发模式,是为了提高软件产品的交付效率。但更快的软件迭代速度加剧了开发团队与运维团队之间的隔阂,使得交付软件的质量下降。DevOps思想在此种背景下被提出,它提倡通过开发与运维团队之间的紧密协作来保证高速率地交付可靠软件,通过促进团队成员之间进行知识分享来加强成员之间的交流联系,但企业在实践DevOp
交通预测是智能交通系统领域中的一个经典方向和研究热点,它有助于交通控制、路线规划、车辆调度等任务,对于缓解交通拥堵以及保障公共交通安全具有重大的作用。影响交通预测的主要因素包括道路网络结构的空间相关性和路况非线性动态变化的时间依赖性。最近的工作将各种深度学习方法应用于交通预测,主要利用图神经网络进行空间相关性建模,利用循环神经网络进行时间依赖性建模。然而,大多数现有方法假设空间相关性是静态的,时间
数据稀疏、知识不完备等问题是制约知识图谱发展的重要因素,因此,完善知识图谱的知识补全算法是领域内的研究热点。现有的知识补全算法无法有效利用知识图谱内知识,以及对开放世界和知识包含的时间信息的忽视导致知识图谱中的知识存在失效情况,无法为基于知识图谱的问答系统提供可靠的知识支持。针对上述问题,本文展开对面向文本问答的开放世界知识补全技术的研究。通过构建面向开放世界的知识动态融合模型,引入开放世界知识补
目前正在研发的VVC、AV1、AVS3等新一代编码标准提高编码效率的手段主要是通过更多模式或更复杂的变换来提高压缩效率。本质上是在用巨大的时间复杂度换取有限的空间复杂度。本文则从主观视觉质量的角度探寻提高编码效率的可能性。传统视频编码技术一直使用客观评价指标作为失真衡量方法,仍然难以代替人眼主观效果评判。本文以基于主观效果的视频编码优化技术为研究主题,重点研究人眼主观感受指标的建模。进一步使用主观
近年来物联网迅速发展,物联网终端规模迅速扩大。然而对大量物联网终端的电池进行更换,需要高昂的维护成本。因而终端的功耗成为限制物联网长期大规模部署的主要因素之一。终端功耗居高不下的原因在于通信与计算的功耗。为降低物联网终端功耗,近几十年来出现了环境反向散射通信技术已经能将终端的通信功耗从mW级降至以W级。其中Wi-Fi反向散射通信系统,因可以借助现有Wi-Fi设备部署,具有易部署的优点。然而现有的W
近年来物联网取得了快速的发展,如何为大量的物联网设备供能成为了当今物联网领域急需解决的关键问题之一。由于具有体积小,寿命长,免维护的优势,使用环境能量采集技术的无源系统在物联网中得到广泛应用。但是,由于能量短缺以及能量采集功率与计算功率不匹配的原因,无源计算系统目前在实际应用中仍然受到较高的任务响应时间的困扰。如果能够进行合理改造使其满足实时计算对于响应时间的要求,无源系统就可以快速响应网关,获得
近年来,随着人工智能技术的飞速发展与我国人口老龄化进程的加快,机器人已经逐渐被应用于各个领域,尤其是一些从事简单工作的劳动力行业。房屋装修作为房地产相关服务的重要组成部分,装修质量和周期至关重要。同时,随着生活质量的高和国家对未来绿色建筑的倡导,人们对房屋装修的要求越来越高。在此背景下我国房屋装修行业逐渐向机械化、专业化、智能化方向转变。随着数据获取技术的发展,语义分割对象已经由二维图像转向体素、
作为区块链2.0时代的重要标志,智能合约具有数据透明、不可篡改、永久运行等特点,这就使得其在解决“信用”问题方面具有天然的优势,近几年来智能合约的数量和规模也在不断扩大,并且功能也日益复杂。但因智能合约的编写和传统软件的编写存在一定的相似性,所以智能合约也不可避免地存在漏洞。智能合约很容易遭到黑客攻击,因为它们很难修补,并且缺乏确保其质量的评估标准,黑客可以在以太坊上发布智能合约中的漏洞,几年前的
视频图像数据维度高、流量大、传输带宽受限,尤其在5G时代下,对高效高性能的编码提出了挑战。如何提升高清视频编码过程中图像的传输质量并确保高效压缩效率,如何尽可能地通过率-失真优化技术平衡码率与失真从而抉择更好的预测模式获得更好的编码性能,都是视频编码研究的关键问题。在问题驱动下,本文分析并建立了时域冗余模型,分别给出了图像级、块级的率-失真优化策略。具体工作分为三个方面。(1)针对编码中占比最大的
随着比特币而出现的区块链技术对传统的中心化服务理念产生了极大的冲击,导致客户更愿意青睐并非一家独大的运营模式。但是数据的去中心化和服务的可维护性却是反比的关系,位于此种关系两种极端情况下的公有区块链和私有区块链由于各自的缺点,导致其很难适应现如今的商业运行模式。联盟链的诞生结合以上两种区块链运行模式的优点,进一步克制各自的缺点,成为时下各大商业化区块链的首选。目前联盟链的日常运行完全依赖于管理员节