基于Transformer局部信息及语法增强架构的中文拼写纠错方法

来源 :北京大学学报:自然科学版 | 被引量 : 0次 | 上传用户:yaoyao1021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对中文拼写纠错,提出两种新的改进方法。其一,在Transformer注意力机制的基础上,添加高斯分布的偏置矩阵,用于提高模型对局部文本的关注程度,加强对错误文本中错误字词和周边文字的信息提取。其二,使用ON_LSTM模型,对错误文本表现出的特殊语法结构特征进行语法信息提取。实验结果表明,所提出的两种方法均能有效提高准确率和召回率,并且,将两种方法融合后的模型取得最高F1值。
其他文献
<正> 一、ABT生根粉、植物生长调节剂(GGR)应用技术 1.ABT生根粉应用技术。适用于林木的生根粉剂型有ABT1号、2号和3号。先用酒精溶解(每克生根粉用酒精500克),再加凉开水500
通过对ICP—OES方法测定煤灰中钒的不确定度评定,建立相应的数学模型并系统分析实验中不确定度引入的来源,指出ICP—OES方法测量煤灰中钒的不确定度主要来源于标准溶液的配制、
视觉背景提取算法(ViBe)利用第一帧图像对背景模型进行初始化,很容易产生鬼影现象。由于ViBe使用固定的分割阈值来实现前景和背景的分割,对于高度动态的背景,ViBe的检测会产
慢性阻塞性肺疾病(慢阻肺)是临床上的一种常见病。葛正行教授总结30余年的临床经验,提出“气虚而滞、痰结血瘀”是慢阻肺的基本病机,倡导将“补虚顺气、化痰消瘀”作为治疗慢
1 病例介绍患者,男,45岁,因骑自行车不慎摔倒,右肩部先着地受伤。来诊查体:一般情况好,心肺腹(一),右肩部肿胀,有压痛,触及有骨擦音,右上肢活动受限。拍片示:右锁骨外侧端骨
【目的】探索单淀粉粒断面观察方法,并阐明稻米透明度与直链淀粉含量的关系以及造成稻米透明度下降的淀粉结构基础。【方法】采用扫描电镜对经过不同处理的具有不同透明度的
从煤样的制备、煤样的浸湿状态、煤样的抽滤及湿度平衡等方面分析了测定煤的最高内在水分的影响因素,并按照GB/T46322008《煤的最高内在水分测定方法》测定了不同煤化程度煤的
基于企业成本核算和燃料耗用量的真实性,以5E—DPM7000固定式激光盘煤系统为例介绍了煤场盘点系统的原理及其现场应用效果,指出火力发电企业的煤场库存盘点可为数字化煤场管理
随着机器学习特别是深度学习的兴起和不断发展,对视觉问答领域的研究取得了重大进展,具有重要的理论研究意义和实际应用价值。因此,有必要对目前的研究进行总结,为该领域的研
针对海上无人值守的监测平台对功耗、实时性、识别率等方面的要求,设计并实现了基于人工智能技术的综合目标识别系统。该系统提出了目标框定预处理算法,大大降低了神经网络的输入数据量;通过神经网络模型优化降低了计算复杂度,并能适应不同尺寸的输入图片。该系统具有良好的性能功耗比,能较好地满足实际应用场景的需求。