基于注意力机制的文字识别技术研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:A406800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文字作为人类社会信息传承的载体,广泛存在于我们的日常生活之中,对于场景理解有着非常重要的作用。随着计算机技术的飞速发展,越来越多新的应用场景需要文字识别技术的支持。深度学习的发展为解决文字识别问题带来了许多新的技术,其中注意力机制就是一条全新的思路。本文基于深度学习和注意力机制,对单字识别和序列文本识别一些热点问题提出了新的解决方案。本文的研究与创新主要包括:1.对注意力机制在文字识别任务上应用场景的探索——脱机手写汉字小样本识别新方法。本文探究了之前工作在解决该问题上的不足之处,并提出了部件聚合网络(Radical Aggregation Network)。该方法引入了印刷体汉字作为支持样本,解决未知类别手写汉字结构信息缺失问题,同时提出了字符分析解码器用于端到端地输出手写体未知汉字的类别。本文通过实验验证了部件聚合网络在手写汉字小样本识别问题上有着非常出色的效果,同时在常规手写汉字识别问题上也保持了较高性能。2.对针对文本识别问题的注意力机制建模机理的优化——面向文本识别的解耦注意力网络(Decoupled Attention Network)。针对注意力机制在长文本上容易发生对齐漂移问题,本文观察到产生该问题的原因是传统注意力解码器耦合的对齐解码过程。为此,本文提出了解耦注意力网络,该模型将注意力模型的对齐过程和解码过程解耦开,使得对齐过程不再受到解码结果的影响。实验证明,解耦注意力网络在长文本识别问题上有效解决了对齐漂移问题,因此性能出色。此外,解耦注意力网络在自然场景文本识别问题上也取得了很好的效果。总而言之,本文针对文字识别任务,对注意力机制的应用场景和建模方式进行了一些有益的探索。希望本工作可以对相关领域研究人员和工程人员产生一些启发。
其他文献
近年来,我国多地组织实施了山水林田湖草生态保护修复试点工程,各试点地区结合本地实际情况,积极推进试点工程,山水林田湖草系统保护的理念逐渐深入人心,初步探索出全局治理的新路径,积累了整体性、系统性开展生态保护修复工程的宝贵经验,对维护国家生态安全发挥了积极作用,但各地区的试点工程在具体的实施过程中也遇到一些问题和难点。为推动山水林田湖草生态保护修复试点工程的顺利实施,全面推进国土空间的生态保护修复,
我国预制装配式建筑方兴未艾,目前正呈现规模化良好发展态势。然而,受各种因素影响,大量废弃预制构件也正在源源不断产生。将这些构件破碎成再生骨料,实现预制构件厂内就地循环利用,不仅能降低成本、物尽其用,还能提高全产业链的废弃物利用率、促进建筑工业化进程中的绿色发展。基于上述考虑,本文从材料与结构角度,对采用废弃预制构件制备自密实再生骨料混凝土的可行性进行了初步探讨,具体工作和主要结论如下:1.开展了1
室内移动机器人自主导航问题一直是机器人领域的研究热点。大多数移动机器人的自主导航方法,需要对机器人所处环境进行表征。在早期的研究中,研究者们通常用精确度量地图对机器人所处环境进行表征,机器人根据精确度量地图进行自主导航。然而,精确度量地图的采集与制作既费时又费力。此外,基于精确度量地图的自主导航方法通常难以迁移到新的环境中,对于每个新的环境都要进行新一轮的信息采集和地图制作。为了解决这个问题,研究
智能制造是指导制造业转型升级和实现生产模式转变的必然途径。然而,智能制造系统混合异构的开发工具间信息交互为系统开发带来重大挑战。在此背景下,基于模型驱动开发技术将开发工具的信息模型化,可有效地降低系统复杂性,提高开发效率,对智能制造的理论研究和技术实现具有重要意义。本文以面向信息物理融合生产线的模型驱动工具链开发为研究目标,主要完成的工作如下:首先,提出信息物理融合生产线的信息集成架构,分析了Au
广州是一座具有悠久历史的文化名城,其中众多的历史建筑不仅代表了广州的发展历史与市民的生活状态以及审美习惯,也是广州历史文化的物质载体。由于历史建筑往往自身具有一定的局限性,难以满足当代的各种需求,因而历史建筑的更新改造对于继承其建筑价值和实现在当代的发展尤为重要。酒店类历史建筑受行业竞争以及自身发展需要的影响,与一般的公建类历史建筑相比,其更新改造更为频繁。酒店公共区作为对外服务的主要空间,不仅服
TiNi形状记忆合金因其独特的形状记忆效应、超弹性和优良的力学性能而广泛应用于生物医学工程、航空航天、土木工程等领域。随着电子产品功能器件朝着微型化和精密化方向发展,对器件在低应力载荷服役条件下的力学性能提出了更高的要求;马氏体TiNi合金因具有弹性模量低且变形驱动力小等优势,尤其适用于作为制备微机电系统精密执行和驱动器件的关键材料。本文主要研究室温下初始物相为马氏体的TiNi合金在压缩力学载荷下
三都水族自治县是全国唯一的水族自治县,其水族人口在全国占六成以上,水族村落文化独具魅力,村落空间形态类型丰富,但当前学术界缺乏对水族传统村落物质空间的研究。论文运用人文地理学、城市形态学、建筑类型学等多学科交叉的方法对全县水族村落整体空间分布格局进行分析,以端节文化区为划分基础,对水族村落进行分区和分类,并挑选县域内典型村落进行案例分析,采用康泽恩城市形态学的方法,寻求其今后的保护和发展道路,最终
水资源作为生态环境的重要组成部分,对其进行统筹管理,构建健康的水循环系统是水环境领域的重要发展目标。作为城市水循环系统的核心,供水厂是城市用水的源头,其在处理原水的过程中,往往涉及众多复杂的处理工艺,工艺内部大量的物化反应过程以及不同工艺之间的复杂交互使得水处理工艺整体调控优化面临瓶颈。机器学习模型的快速发展,为解决水处理工艺效能预测与优化提供了新的技术路径,但目前尚缺乏系统全面的模型评估方法。为
学位
广州拥有海陆交接、水陆兼便的交通优势,是重要的商业经济中心和外贸港口城市。商业贸易与工业生产的物流及存储需要催生了仓储空间,而仓库作为仓储实体,是支撑广州发挥强大贸易辐射能力和贸易转运职能的基础。仓储空间的形成与演变既是广州工商贸易发展、城市物资流转的切实需要,也是反映广州城市发展历史的重要方面。当前,随着城市中产业结构的调整、交通运输方式的转变,许多在过去曾发挥重要作用的生产性仓储活动逐渐衰落,