文字是信息交流和文化传承的主要方式,其在人类社会中扮演着极其重要的角色。自然场景中的图像中通常包含了丰富的文字信息,准确而高效地提取这些文字信息有助于我们对图像及场景的理解。近年来,随着深度学习的发展,自然场景的文字检测和识别技术受到越来越多研究人员的关注。传统的自然场景文字提取技术通常分为两个独立的部分:文字检测分支和文字识别分支,这两个分支通常会被分别实现并执行,这种方式虽然看似简单,但也带来了很多先验知识的损失。文字检测和文字识别是两个互补的任务,我们可以让这两个任务共享卷积计算,利用它们之间的互补监督信息来学习更加通用的图像特征,提高整个文字识别网络的速度和准确度。本文的主要研究内容是端到端的文字检测与识别网络。本文提出的网络是基于当今性能较好的端到端文字检测及识别网络FOTS改进而来的,FOST的检测分支存在特征提取能力较弱、感受野不足和样本权重不平衡等缺点,从而导致其对长文本的检测能力较弱、模型精度不高等问题。针对上述问题,本文在网络结构和损失函数方面对其进行了改进。网络结构方面,我们采用Res Net-50替换VGG-16以增强网络的特征提取能力,同时添加ASPP结构来增大网络的感受野,使其对长文本的检测效果更好;损失函数方面,我们使用了Dice loss作为文字检测分支的分类损失函数,并对不同尺度文字区域的权重进行了平衡处理,有效提高了整个端到端文字检测和识别网络的精度和效果。最后,我们在公开的基准数据集和实际工程项目中的少数民族语数据集上对本文提出的网络进行了实验。实验证明,本文提出的端到端网络的性能达到了先进水平,具有较强的研究和实用价值。