[ECCV 2022] 场景文字端到端识别中的全局到局部注意

原创黄明鑫 CSIG文档图像分析与识别专委会

本文简要介绍ECCV 2022录用论文“GLASS: Global to Local Attention for Scene-Text Spotting”的主要工作。这篇文章针对场景文字端到端识别任务，提出了一个从全局到局部的注意力模块。这个模块结合了全局特征（从共享的主干网络中提取的特征）和局部特征（从原图中裁剪下来的图片，然后再送入一个识别的主干网络提取的特征）融合到一起再进行识别，极大提升了模型的性能。同时文章还提出了一个新的损失函数来提升模型对旋转文本识别的能力。在多个公开数据集上，该论文提出的模型都取得了很好的效果。论文提出的模型也可以用到现在有的框架上。

图1. 场景文字端到端识别方法总览。(a)两阶段检测识别。一个独立的文本检测器后面跟着一个独立的识别器。两者是单独训练的。(b) 端到端文字识别。检测与识别协同优化。(c)论文提出的模块同时结合了(a)和(b)的优势。特征图使用交错注意进行融合，提高了对缩放和旋转的鲁棒性，以及整体性能。

一、研究背景

场景文字端到端识别，即在自然场景图片中检测出文本实例并识别出文字的内容，近年来在性能上有了显著的提高。它现在通常用于许多真实的场景中，比如自动驾驶、文档分析和地理定位等。场景文字端到端识别挑战在于，有些单词可能跨越整个图像，而另一些单词，可能就只占据图像很小的一部分，例如，离得很远导致几乎看不到的交通标志。两者的尺度变成非常大，导致了模型性能不佳。论文为了解决文本尺度的变化大，以及文本旋转的问题，提出了一个GLASS模块，在极端尺度变化的情况下增强了模型的性能，并且还设计了一个周期的，针对旋转的损失函数，增强了模型对于任意旋转角度的文本的检测性能。

二、方法原理简述

图2. 网络整体框架图。

图片输入到主干网络提取特征，然后输入到检测器中，这个检测器是一个基于Rotated Mask RCNN的检测器，先用一个Rrotated RPN来生成一些旋转的一些Pproposal，然后提取RoI特征，然后对这些旋转的Proposal进行一个精调。得到一个精细的旋转框。然后再用这些旋转框进行Rotated RoIAlign提取RoI特征, 生成Mask。然后就到了识别部分。首先检测部分生成的旋转框从主干网络输出的特征中使用Rotated RoIAlign 提取识别部分的RoI特征这部分Global 的特征，然后再用检测部分生成的旋转框从输入的图片中把旋转文本Crop出来，再送入到一个Res34的主干网络中提取特征，这部分就是Local的特征。最后把这两个特征送入到Interleaved Feature Attention进行融合，然后再送入到识别器中。这里使用的识别器是ASTER。下图是图1中GALSS的详细结构。

图3. 全局到局部注意特征融合。

图2中的这个 Local特征是从图片裁剪得到的特征，分辨率高。全局特征是从Backbone采样的特征，其感受野比局部特征要大。首先，先把这两个特征在通道上分组，分成K组，然后再拼接起来。然后送入到这个Interleaved Attention中，通过卷积和Softmax得到一个热图，然后乘上原来的特征进行加权求和。总共得到K组这样的特征，然后再把这个特征加回到拼接的特征那里。得到最后的特征。就是送入识别的那个特征。