提示词描述

该模型是一个光谱超分辨率网络，采用编码器-Transformer-解码器架构，包含三个信息流：RGB主分支、辅助高光谱(HSI)先验分支以及特征融合与重建分支。 输入端包括两个输入： 1) 低维RGB图像，作为主要输入。 2) 辅助高光谱图像，具有空间错位，仅用于提供光谱先验信息。 **RGB编码器**由若干卷积层和残差块组成，用于从RGB图像中提取低级和中级空间特征，并输出一个保持高空间分辨率的中间特征张量。 辅助**HSI先验编码器**分支首先从辅助高光谱图像中提取特征，然后使用基于CP的低秩分解模块将三维高光谱特征分解为一组一维光谱基向量，以表示全局光谱先验。该分支不保留空间位置信息，仅输出低秩光谱表示。 随后，光谱先验被输入到多个**自适应低秩投影层**。每个投影层将低秩光谱基向量映射到与RGB特征通道一致的特征空间，并通过注意力权重调制RGB特征，以实现特征级别的光谱引导，而非像素级别的融合。 Transformer/注意力模块位于网络的中间，用于对融合后的特征进行长程依赖建模。该模块可以包含作用于空间和光谱/通道维度的多维自注意力机制，以增强全局上下文建模能力。 **解码器**由若干卷积层或前馈网络(FFN)组成，用于将融合后的特征逐步映射到高光谱图像空间，最终输出高分辨率高光谱图像。解码阶段可以包含残差连接，以直接将浅层RGB特征或输入映射添加到输出，从而稳定训练。 整个网络的关键特征是： 辅助HSI不参与空间对齐，仅通过低秩分解提供全局光谱先验。 RGB特征承担空间结构建模。 光谱先验通过自适应低秩投影和注意力机制注入到主干网络中。 最终，在无需空间配准的情况下实现光谱超分辨率重建。