场景文本作为计算机视觉领域最为活跃的研究对象之一,现实生活中许多应用技术都与其密切相关,比如自动翻译、盲人导读、车牌识别等。当前,文档类文本的识别精度已高达99%,而自然场景图像中的文本由于字体多样性,文本多方向,图像分辨率低等因素,使得自然场景文本的提取和识别成为计算机视觉领域一项极具挑战性的任务。因此,本学位论文针对自然场景文本的提取和识别展开了较为深入的研究,具体研究内容总结如下:1.研究了一种基于分割的场景文本提取算法。考虑到使用人工进行像素级文本标注通常非常昂贵而且耗时,而现有的数据集中又包含了大量的文本框标注信息,基于此,提出采用文本框标注作为辅助数据用于训练。为了实现这个目标,提出一个双任务相互引导网络,该网络共享一个编码器,两个解码器分别输出像素级文本分割和文本框分割。两个解码器的输出作为彼此的引导信息,像素级文本分割解码器的输出可以作为文本框分割解码器的引导信息提高文本框分割的性能,反之亦然。在标准数据集上的实验表明,该算法提出的相互引导网络可有效地提取文本信息。同时,利用得到的像素分割结果可以进一步提升文本识别性能。2.研究了一种任意方向的场景文本识别算法。该算法首先使用高分辨分割网络提取文本的空间信息;然后利用卷积长短时记忆网络提取文本的时空序列信息;同时设计字符注意机制使得模型的注意力在字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注;最后网络对每个像素点进行37分类,并使用文本转录模块将分类结果按照从左到右的顺序转换成文本。该算法在多个标准数据集包括ICDAR2013、ICDAR2003、SVTP、CUTE、IIIT5k等上进行测试,无论在规则文本还是不规则文本上都可取得不错的识别效果,充分验证了该算法的有效性。