Description du prompt

Le modèle est un réseau de super-résolution spectrale avec une architecture Encodeur-Transformateur-Décodeur, constitué de trois flux d'informations : une branche principale RGB, une branche auxiliaire d'information a priori hyperspectrale (HSI), et une branche de fusion et de reconstruction de caractéristiques. L'entrée comprend deux entrées : 1) Une image RGB de faible dimension comme entrée principale. 2) Une image hyperspectrale auxiliaire avec un décalage spatial, utilisée uniquement pour fournir des informations a priori spectrales. L'**Encodeur RGB** est constitué de plusieurs couches convolutionnelles et de blocs résiduels, utilisés pour extraire des caractéristiques spatiales de bas et moyen niveau de l'image RGB, et produit un tenseur de caractéristiques intermédiaires tout en conservant une haute résolution spatiale. La branche auxiliaire **Encodeur d'Information a Priori HSI** extrait d'abord les caractéristiques de l'image hyperspectrale auxiliaire, puis décompose les caractéristiques hyperspectrales tridimensionnelles en un ensemble de vecteurs de base spectraux unidimensionnels à l'aide d'un module de Décomposition de Rang Faible basé sur CP pour représenter l'information a priori spectrale globale. Cette branche ne conserve pas les informations de localisation spatiale et ne produit qu'une représentation spectrale de rang faible. Par la suite, l'information a priori spectrale est introduite dans plusieurs **Couches de Projection Adaptative de Rang Faible**. Chaque couche de projection mappe les vecteurs de base spectraux de rang faible à un espace de caractéristiques cohérent avec les canaux de caractéristiques RGB, et module les caractéristiques RGB par le biais de poids d'attention pour réaliser un guidage spectral au niveau des caractéristiques plutôt qu'une fusion au niveau des pixels. Le module Transformateur/Attention est situé au milieu du réseau et est utilisé pour modéliser les dépendances à longue portée sur les caractéristiques fusionnées. Ce module peut inclure des mécanismes d'auto-attention multidimensionnels qui agissent sur les dimensions spatiales et spectrales/de canaux pour améliorer les capacités de modélisation du contexte global. Le **Décodeur** est constitué de plusieurs couches convolutionnelles ou de réseaux feed-forward (FFN) et est utilisé pour mapper progressivement les caractéristiques fusionnées à l'espace de l'image hyperspectrale, produisant finalement une image hyperspectrale haute résolution. L'étape de décodage peut inclure des connexions résiduelles pour ajouter directement des caractéristiques RGB peu profondes ou des mappages d'entrée à la sortie afin de stabiliser l'entraînement. Les principales caractéristiques de l'ensemble du réseau sont les suivantes : L'HSI auxiliaire ne participe pas à l'alignement spatial et fournit uniquement des informations a priori spectrales globales par le biais d'une décomposition de rang faible. Les caractéristiques RGB assurent la modélisation de la structure spatiale. L'information a priori spectrale est injectée dans le réseau dorsal par le biais d'une projection adaptative de rang faible et de mécanismes d'attention. Enfin, la reconstruction de super-résolution spectrale est réalisée sans enregistrement spatial.