MFT-GAN：用于无监督泛锐化的多尺度特征引导Transformer网络

小白学视觉

点击下方“ReadingPapers”卡片，每天获取顶刊论文解读

论文信息

摘要

无监督学习，无需标记样本即可学习数据分布，是一种解决高光谱泛锐化挑战性任务的非常有前景的方法。受此启发，我们引入了一个创新的生成对抗网络框架（名为MFT-GAN），该框架整合了变换器网络和多尺度交互技术。具体来说，MFT-GAN由一个生成器和两个鉴别器组成。生成器由多尺度特征引导分支（MFGB）和特征交互融合分支（FIFB）组成。前者旨在通过卷积采样操作从低分辨率高光谱（LRHS）和全色（PAN）图像中提取光谱和空间信息分支。后者通过多尺度交互技术在不同尺度上实现光谱和空间信息的交互。然后，通过逐层卷积采样和像素求和操作将多尺度交互结果融合，以生成高分辨率高光谱（HRHS）图像。鉴别器由光谱变换鉴别器和空间变换鉴别器组成，旨在保持结构和参数平衡，并学习长期的光谱和空间相关关系。此外，使用混合损失函数来完成MFT-GAN的对抗性训练，以提高其性能。在模拟和真实数据集上的实验进一步证明了所提出的MFT-GAN方法的有效性。

关键词：特征交互融合，生成对抗网络，多尺度特征引导，光谱和空间变换器，无监督高光谱泛锐化。

III. 提出的方法

本文关注不同尺度之间的特征交互和融合。MFT-GAN由一个生成器和两个鉴别器组成。生成器包含两个分支，MFGB和FIFB，旨在执行多尺度特征提取、交互和融合任务。设计了两个基于变换器的鉴别器，通过对抗学习来保留两个观测图像的光谱和空间信息。图1显示了MFT-GAN生成器和鉴别器的总体结构。为了方便起见，表示LRHS图像，表示PAN图像。融合图像表示为（），其中和是空间尺寸，是通道数，是P和Y的空间分辨率比。此外，表示生成器，和分别表示光谱和空间鉴别器。

A. 生成器结构

多尺度特征引导分支：在高光谱泛锐化中，输入数据包含光谱和空间信息（光谱信息存在于LRHS图像中，空间信息存在于PAN图像中）。为了使这两种类型的信息在大范围内交互融合，我们首先设计了生成器中的一个MFGB（见图2）。它是一个基于CNN的双分支结构，分别从LRHS和PAN图像中提取多尺度光谱和空间信息。两个不同方向的分支通过上采样和下采样获取不同尺度的特征，描述如下：

其中表示卷积层，核心大小为3，步长为1，表示LeakyReLU函数。Up表示使用核心大小为2，步长为2的2-D转置卷积层进行卷积上采样。Down表示使用核心大小为3，步长为2的2-D卷积层进行卷积下采样。用于区分不同尺度的图像。对于Y，随着的增加，的图像尺寸增大。对于P，随着的增加，的图像尺寸减小。

特征交互融合分支：在MFGB之后，可以获得多尺度光谱和空间信息，这将用作驱动实现多尺度交互融合技术的引导项目。具体来说，我们设计了一个多头交叉注意模块（见图3），它计算两个特征图在同一尺度上的长期相关性，以实现信息之间的长期交互。使用它来计算不同尺度的光谱和空间信息，可以获得不同尺度的交互结果。最后，通过对不同尺度的交互结果进行特征聚合操作，产生最终的融合图像（见图2）。

a) 多头交叉注意模块：受注意力机制[66]、[67]的启发，我们开发了多头交叉注意模块来实现多尺度交互。该模块具有来自MFGB的光谱和空间信息输入（和）。首先，和使用核心大小为1的卷积层映射到相同的维度（），然后重塑成两个序列。然后，这两个序列被分成三个具有相同维度的子序列：查询Q、键K和值V。通过交换它们的Q（一个序列中的查询Q与另一个序列中的键K和值V结合），计算两个多头自注意力[66]结果，实现特征交互。最后，添加前馈神经网络（FNN）、残差连接和像素加法操作，以进一步提高其性能。在图2中，FIFB中的多头交叉注意预计算Y和P图像之间多个尺度的交互结果，描述和公式如下：

其中Chunk代表将序列分成多个子序列。MutiHead表示多头自注意力计算，如[66]中所述。表示中间输出结果。此外，FNN由两层线性连接网络和激活函数LeakyReLU组成。

b) 特征聚合：如图2所示，为了促进光谱和空间信息在多个尺度上的交互，我们使用多头交叉注意计算策略。这种方法可以产生不同尺度的交互结果。然后，通过逐层卷积上采样和像素加法操作将这些结果聚合，以获得融合结果：

其中和表示使用核心大小为2，步长为2的2-D转置卷积层进行卷积上采样。通过上述特征聚合后，生成的图像保留了基本的光谱和空间细节信息。我们使用细节注入策略，将这些图像添加到插值上采样的LRHS图像中，以进一步保留光谱和空间信息：

其中表示核心大小为1，步长为1的卷积层。它用于将FA映射到与相同的维度。

B. 鉴别器结构

为了结构和参数平衡，我们将变换器集成到两个鉴别器中（见图2）；这些鉴别器的详细结构如图4所示。我们可以看到，光谱和空间变换器使用不同的注意力机制，即光谱自注意力和空间自注意力，使用相同的公式[66]进行计算。如图5所示，输入数据具有不同的维度，计算不同的自注意力结果，从而允许获取长期光谱特征和长期空间特征。具体来说，光谱自注意力计算不同像素之间的光谱相关性，空间自注意力计算不同波段之间的空间相关性。这种计算可以更好地保留光谱和空间特征。光谱变换鉴别器用于区分插值上采样的LRHS图像（）和生成的HRHS图像（F）为真或假。在图2和程序1中，我们可以看到光谱变换鉴别器的运行过程。与传统鉴别器不同，光谱变换鉴别器通过光谱变换模块迭代计算特征图的光谱长期相关性。在光谱变换的每次迭代中，参数不共享，因为输入维度不同。这种设计旨在通过逐渐降低维度来捕获不同像素维度之间的长期光谱特征，从而获得光谱水平上的优秀分类结果。空间变换鉴别器用于区分PAN图像（P）和生成的HRHS图像（PF）为真或假。在图2和程序2中，我们可以看到空间变换鉴别器的运行过程。像上面的理论一样，空间变换鉴别器也使用迭代计算策略，并且每次迭代的参数不共享。使用空间变换模块和平均池化操作获取不同光谱之间的长距离空间特征，实现空间水平上的优秀分类结果。最后，我们使用clip函数将两个鉴别器的分类结果映射到-1到1的范围，这确保了与铰链损失函数的兼容性，并有助于有效的模型训练。

实验结果

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

继续滑动看下一个