Promptの説明

モデルは、Encoder-Transformer-Decoderアーキテクチャを持つスペクトル超解像ネットワークであり、RGBメインブランチ、補助ハイパースペクトル（HSI）事前情報ブランチ、および特徴融合・再構成ブランチの3つの情報ストリームで構成されています。 入力端には、次の2つの入力が含まれます。 1) メイン入力としての低次元RGB画像。 2) 空間的なずれを持つ補助ハイパースペクトル画像。スペクトル事前情報を提供する目的でのみ使用されます。 **RGBエンコーダ**は、いくつかの畳み込み層と残差ブロックで構成され、RGB画像から低レベルおよび中レベルの空間的特徴を抽出し、高い空間解像度を維持しながら中間特徴テンソルを出力します。 補助**HSI事前情報エンコーダ**ブランチは、まず補助ハイパースペクトル画像から特徴を抽出し、次にCPベースの低ランク分解モジュールを使用して、3次元ハイパースペクトル特徴を1次元のスペクトル基底ベクトルのセットに分解し、グローバルなスペクトル事前情報を表現します。このブランチは空間的な位置情報を保持せず、低ランクのスペクトル表現のみを出力します。 その後、スペクトル事前情報は複数の**適応型低ランク射影レイヤー**に入力されます。各射影レイヤーは、低ランクのスペクトル基底ベクトルをRGB特徴チャネルと一致する特徴空間にマッピングし、注意機構の重みを通してRGB特徴を変調し、ピクセルレベルの融合ではなく、特徴レベルでのスペクトルガイダンスを実現します。 Transformer/Attentionモジュールは、ネットワークの中央に配置され、融合された特徴に対する長距離依存性をモデル化するために使用されます。このモジュールには、空間およびスペクトル/チャネル次元で動作する多次元自己注意機構を含めることができ、グローバルなコンテキストモデリング機能を強化します。 **デコーダ**は、いくつかの畳み込み層またはフィードフォワードネットワーク（FFN）で構成され、融合された特徴を徐々にハイパースペクトル画像空間にマッピングし、最終的に高解像度のハイパースペクトル画像を出力するために使用されます。デコード段階には、浅いRGB特徴または入力マッピングを出力に直接追加して、トレーニングを安定させるための残差接続を含めることができます。 ネットワーク全体の主な特徴は次のとおりです。 補助HSIは空間的な位置合わせには関与せず、低ランク分解を通じてグローバルなスペクトル事前情報のみを提供します。 RGB特徴は空間構造のモデリングを行います。 スペクトル事前情報は、適応型低ランク射影と注意機構を通じてバックボーンネットワークに注入されます。 最後に、空間的な位置合わせなしでスペクトル超解像再構成が実現されます。