基于XLnet语言模型的中文命名实体识别

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:victinfy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语言模型的建立对挖掘句子内部语义信息有着直接的影响,为了提高中文命名实体识别率,字的语义表示是关键所在。针对传统的中文命名实体识别算法没有充分挖掘到句子内部的隐藏信息问题,该文利用LSTM提取经过大规模语料预训练生成的字向量特征,同时将词向量预测矩阵传入到字向量特征提取阶段,通过矩阵运算融合为词向量特征,并进一步利用CNN提取词语之间的空间信息,将其与得到的词向量特征整合到一起输入语言模型XLnet(Generalized autoregressive pretraining for language u
其他文献
多数领导者认为自己待员工亲近,事实上员工的感受并非如此.首先要弄明白究竟是什么让别人觉得你可怕?领导们通常很难看清自已有多吓人,因为惧怕是一种关系体验,而非个人特征.
期刊
运营管理即是政策落地的重要手段,绩效国考的内涵正是运营管理的核心导向。国家卫生健康委办公厅于2021年3月30日正式通报了2019年度全国三级公立医院绩效考核国家监测结果,三级公立医院绩效考核推行至今已迈入第三个年头。随着2019年三级公立医院绩效国考成绩放榜,许多医院管理者着实捏了一把冷汗。另一方面,《关于加强公立医院运营管理的指导意见》于2020年底重磅出台,新医改逐步聚焦在医院内部管理的改革与深化上。在此情况下,各医院在“十四五”的开年,运营管理组织与绩效管理模式将发生重大转变。
在核磁共振条件下解单体含时薛定谔方程,给出核自旋绕x轴和y轴转动π/2的单量子位转动门,根据量子控制非门的定义,设计出实现量子控制非门的核磁共振脉冲序列。利用两个核自旋之间的相互作用时间远小于射频脉冲作用时间这个条件,通过在旋转参考系中近似求解核磁共振时的两体含时薛定谔方程,给出量子控制非门核磁共振脉冲序参数取值。利用Suzuki对称乘积公式,对含时薛定谔方程进行数值计算,数值计算结果验证了量子控制非门脉冲序列设计与参数取值的正确性。
提出了一种基于操作码频率的恶意代码可视化分析方法。该方法在静态反汇编的基础上,获取机器指令中的操作码序列,使用设计的色谱来区分常见的和罕见的操作码指令,并依据对应颜色向量在RGB空间中的次序来重排操作码的位置,以此实现关于操作码频率的映射,解决了现有可视化方法视觉区分度不强、分类精准度不高的问题。将该方法应用于微软提供的恶意样本集(BIG 2015|Kaggle),可视化结果经深度融合网络学习后,取得了98.50%的分类正确率。
针对ARM程序高层代码混淆存在盲目性较强而降低混淆准确度,且很容易被逆向还原的问题。从ARM汇编指令底层研究ARM程序混淆,通过结合ARM架构指令系统的特点,基于模式切换提出一种ARM汇编代码混淆算法,包括指令模式切换混淆、寄存器随机分配混淆和虚假指令混淆,使混淆后汇编代码的控制流变得更加复杂,且对切换地址的寄存器混淆也提高了动态调试跟踪的难度。模式切换及虚假指令混淆也会造成反汇编错误,从复杂强度、逆向弹性和性能开销三方面进行测试评估。测试结果表明,该混淆算法不仅有效地提高了程序的控制流循环复杂度,而且能
卷积神经网络的发展使得图像验证码已经不再安全。基于卷积神经网络中存在的通用对抗扰动,提出了一种图像验证码的保护方法。提出了一种快速生成通用对抗扰动的算法,将方向相似的对抗扰动向量进行叠加以加快生成通用对抗扰动的速度。基于此算法设计了图像验证码的保护方案,将通用对抗扰动加入到验证码的图像中使其无法被卷积神经网络模型识别。在ImageNet数据集上进行的仿真实验结果表明,该方案比现有工作DeepCAP
针对现有人工神经网络方法在网络加密流量分类应用中结构复杂且计算量大的问题,首次提出了一种基于特征融合的轻量级网络模型Inception-CNN,用于端到端加密流量的分类,在显著提高分类结果准确性的同时,大大降低了网络计算复杂度。利用Inception模块1×1卷积进行降维,减少了计算参数;从不同的感受野中做到不同级别上的特征提取,将多种不同尺寸滤波器卷积的特征进行融合,从而在原始数据中提取到更加丰富的特征自动学习原始输入和预期输出之间的非线性关系;利用池化操作没有参数的特性,防止产生过拟合。选择使用国际公
机化性肺炎(organizing pneumonia,OP)是一种较为常见的间质来源疾病。在胸部CT上,OP主要表现为实变和/或结节伴支气管气相和牵拉性支气管扩张,以支气管血管束周围和胸膜下分布为著,还可见"反晕"征、条带状实变和小叶间隔旁实变等特征,可以呈现"游走"性。OP的诊断是在影像学基础上结合临床和病理的综合性评估。
属性网络表示学习旨在结合结构信息与属性信息为网络中的节点学习统一的向量表示。现有的属性网络表示学习方法在学习属性信息时与其互补的结构信息增强不足,从而影响最终表示。针对这一问题,提出一种结构增强的属性网络表示学习方法,以提高表示质量。该方法基于网络归一化邻接矩阵和属性矩阵通过自动编码器提取增强网络全局结构特性的属性信息,使用skip-gram模型捕捉局部结构信息,引入一个联合损失函数使结构信息与属性信息在同一向量空间中得以表示。在三个真实属性网络数据上进行节点分类和链路预测实验,效果较目前流行的网络表示学
针对多类别运动想象脑电信号识别精度不高的问题,提出了一种融合注意力模块的卷积神经网络模型。该模型利用注意力模块充分挖掘脑电信号的通道和空间特征,建立其与识别任务之间的重要程度关系,从而提高运动想象脑电信号的识别准确率。信号经过共空间模式提高信噪比,利用小波变换将信号转换成二维时频图,通过注意力模块中通道和空间两个维度进行特征的调整,以强化有用特征弱化无用特征,使卷积网络充分提取更高层次的抽象特征,并最终执行运动想象任务的识别。分别在BCI竞赛IVDatasets 2a和BCI竞赛III-IIIa数据集上进