프롬프트 설명

모델은 인코더-트랜스포머-디코더 아키텍처를 가진 스펙트럼 초해상도 네트워크이며, RGB 메인 브랜치, 보조 하이퍼스펙트럴(HSI) 사전 정보 브랜치, 특징 융합 및 재구성 브랜치의 세 가지 정보 스트림으로 구성됩니다. 입력단은 두 가지 입력을 포함합니다. 1) 메인 입력으로 사용되는 저차원 RGB 이미지. 2) 공간적 불일치가 있는 보조 하이퍼스펙트럴 이미지로, 스펙트럼 사전 정보 제공 목적으로만 사용됩니다. **RGB 인코더**는 여러 컨볼루션 레이어와 잔차 블록으로 구성되어 RGB 이미지에서 저수준 및 중간 수준의 공간적 특징을 추출하고, 높은 공간 해상도를 유지하면서 중간 특징 텐서를 출력합니다. 보조 **HSI 사전 정보 인코더** 브랜치는 먼저 보조 하이퍼스펙트럴 이미지에서 특징을 추출한 다음, CP 기반 저랭크 분해 모듈을 사용하여 3차원 하이퍼스펙트럴 특징을 일련의 1차원 스펙트럼 기저 벡터로 분해하여 전역 스펙트럼 사전 정보를 나타냅니다. 이 브랜치는 공간 위치 정보를 유지하지 않고 저랭크 스펙트럼 표현만 출력합니다. 이후, 스펙트럼 사전 정보는 여러 **적응형 저랭크 투영 레이어**에 입력됩니다. 각 투영 레이어는 저랭크 스펙트럼 기저 벡터를 RGB 특징 채널과 일치하는 특징 공간에 매핑하고, 어텐션 가중치를 통해 RGB 특징을 조절하여 픽셀 수준 융합이 아닌 특징 수준 스펙트럼 가이드를 달성합니다. 트랜스포머/어텐션 모듈은 네트워크 중간에 위치하며 융합된 특징에 대한 장거리 의존성을 모델링하는 데 사용됩니다. 이 모듈은 공간 및 스펙트럼/채널 차원에서 작동하는 다차원 자기 어텐션 메커니즘을 포함하여 전역 컨텍스트 모델링 기능을 향상시킬 수 있습니다. **디코더**는 여러 컨볼루션 레이어 또는 피드 포워드 네트워크(FFN)로 구성되며 융합된 특징을 하이퍼스펙트럴 이미지 공간에 점진적으로 매핑하는 데 사용되어 최종적으로 고해상도 하이퍼스펙트럴 이미지를 출력합니다. 디코딩 단계는 얕은 RGB 특징 또는 입력 매핑을 출력에 직접 추가하여 훈련을 안정화하기 위한 잔차 연결을 포함할 수 있습니다. 전체 네트워크의 주요 특징은 다음과 같습니다. 보조 HSI는 공간 정렬에 참여하지 않고 저랭크 분해를 통해 전역 스펙트럼 사전 정보만 제공합니다. RGB 특징은 공간 구조 모델링을 수행합니다. 스펙트럼 사전 정보는 적응형 저랭크 투영 및 어텐션 메커니즘을 통해 백본 네트워크에 주입됩니다. 마지막으로, 공간 등록 없이 스펙트럼 초해상도 재구성이 달성됩니다.