Описание промпта

Модель представляет собой сеть спектрального сверхразрешения с архитектурой Encoder-Transformer-Decoder, состоящую из трех информационных потоков: основной RGB-ветви, вспомогательной гиперспектральной (HSI) априорной ветви и ветви слияния и реконструкции признаков. Входной конец включает два входа: 1) Низкоразмерное RGB-изображение в качестве основного входа. 2) Вспомогательное гиперспектральное изображение с пространственным несовпадением, используемое только для предоставления спектральной априорной информации. **RGB Encoder** состоит из нескольких сверточных слоев и остаточных блоков, используемых для извлечения пространственных признаков низкого и среднего уровня из RGB-изображения, и выводит промежуточный тензор признаков, сохраняя при этом высокое пространственное разрешение. Вспомогательная ветвь **HSI Prior Encoder** сначала извлекает признаки из вспомогательного гиперспектрального изображения, а затем разлагает трехмерные гиперспектральные признаки в набор одномерных спектральных базисных векторов с использованием модуля CP-based Low-Rank Decomposition для представления глобального спектрального априори. Эта ветвь не сохраняет информацию о пространственном местоположении и выводит только низкоранговое спектральное представление. Впоследствии спектральный априор подается в несколько **Adaptive Low-Rank Projection Layers**. Каждый проекционный слой отображает низкоранговые спектральные базисные векторы в пространство признаков, соответствующее каналам RGB-признаков, и модулирует RGB-признаки посредством весов внимания для достижения спектрального руководства на уровне признаков, а не слияния на уровне пикселей. Модуль Transformer/Attention расположен в середине сети и используется для моделирования долгосрочных зависимостей на объединенных признаках. Этот модуль может включать многомерные механизмы самовнимания, которые воздействуют на пространственные и спектральные/канальные измерения для улучшения возможностей глобального контекстного моделирования. **Decoder** состоит из нескольких сверточных слоев или нейронных сетей прямого распространения (FFN) и используется для постепенного отображения объединенных признаков в гиперспектральное пространство изображений, в конечном итоге выводя гиперспектральное изображение высокого разрешения. Этап декодирования может включать остаточные соединения для непосредственного добавления неглубоких RGB-признаков или входных отображений к выходу для стабилизации обучения. Ключевые особенности всей сети: Вспомогательный HSI не участвует в пространственном выравнивании и предоставляет только глобальные спектральные априори посредством низкорангового разложения. RGB-признаки осуществляют моделирование пространственной структуры. Спектральный априор вводится в магистральную сеть посредством адаптивной низкоранговой проекции и механизмов внимания. Наконец, достигается спектральная реконструкция сверхразрешения без пространственной регистрации.