提示詞描述

模型是一個光譜超解析度網路，採用編碼器-轉換器-解碼器架構，包含三個資訊流：一個RGB主分支、一個輔助高光譜(HSI)先驗分支，以及一個特徵融合與重建分支。 輸入端包含兩個輸入： 1) 一個低維度RGB圖像作為主要輸入。 2) 一個具有空間錯位的輔助高光譜圖像，僅用於提供光譜先驗資訊。 **RGB編碼器**由多個卷積層和殘差塊組成，用於從RGB圖像中提取低階和中階空間特徵，並在保持高空間解析度的同時，輸出一個中間特徵張量。 輔助**HSI先驗編碼器**分支首先從輔助高光譜圖像中提取特徵，然後使用基於CP的低秩分解模組將三維高光譜特徵分解為一組一維光譜基向量，以表示全局光譜先驗。此分支不保留空間位置資訊，僅輸出低秩光譜表示。 隨後，光譜先驗被饋送到多個**自適應低秩投影層**。每個投影層將低秩光譜基向量映射到與RGB特徵通道一致的特徵空間，並通過注意力權重調節RGB特徵，以實現特徵級別的光譜引導，而不是像素級別的融合。 轉換器/注意力模組位於網路的中間，用於對融合特徵進行長程依賴建模。該模組可以包含作用於空間和光譜/通道維度的多維自注意力機制，以增強全局上下文建模能力。 **解碼器**由多個卷積層或前饋網路(FFN)組成，用於將融合特徵逐步映射到高光譜圖像空間，最終輸出一個高解析度高光譜圖像。解碼階段可以包含殘差連接，以直接將淺層RGB特徵或輸入映射添加到輸出，從而穩定訓練。 整個網路的關鍵特徵是： 輔助HSI不參與空間對齊，僅通過低秩分解提供全局光譜先驗。 RGB特徵承擔空間結構建模。 光譜先驗通過自適應低秩投影和注意力機制注入到骨幹網路中。 最終，實現無需空間配準的光譜超解析度重建。