Description du prompt
Diagramme d'architecture pour la segmentation sémantique faiblement supervisée. Ce diagramme illustre une méthode à étape unique pour la segmentation sémantique faiblement supervisée utilisant des étiquettes au niveau de l'image. Le flux de travail se déroule horizontalement à travers les étapes suivantes : 1. Étape d'entrée : * Image d'entrée : Une image accompagnée d'annotations d'étiquettes au niveau de l'image. * Innovation : Des jetons spécifiques à la localisation sont incorporés dans la couche d'entrée (mis en évidence en orange). * Innovation : Un module de clustering de patchs plus petit est utilisé (mis en évidence en orange). 2. Étape d'extraction de caractéristiques : * Réseau dorsal : Un réseau dorsal de segmentation extrait des cartes de caractéristiques de l'entrée. * Innovation : Des modules d'adaptation sont intégrés au réseau dorsal (mis en évidence en cyan). 3. Traitement à double branche : * Branche supérieure : Une tête de classification traite les caractéristiques, ce qui entraîne une perte de classification (Lcls). * Branche inférieure : Cette branche se divise en deux chemins : * Chemin a : Un décodeur génère une carte de segmentation prédite. * Chemin b : Un générateur de pseudo-étiquettes crée des pseudo-étiquettes. 4. Étape de supervision : * Une perte d'entropie croisée (Lce) est calculée entre la carte de segmentation prédite et les pseudo-étiquettes générées.
![Veuillez fournir un diagramme de l'architecture améliorée YOLO11s-seg, montrant autant de couches de la structure du réseau que possible avec des détails structurels précis. La structure globale doit être divisée en sections gauche et droite. Le côté gauche doit illustrer la structure dorsale (backbone) améliorée, tandis que le côté droit doit afficher les sections de cou (neck) et de tête (head) améliorées. Chaque composant structurel doit être clair et complet. Le schéma de couleurs global doit être dans des tons chauds, et le style doit ressembler aux diagrammes de structure de réseau que l'on trouve dans les articles de conférences ou de revues informatiques de premier plan. La structure de réseau améliorée est basée sur les spécifications suivantes :
Entrée : [3,640,640]
│
└─Backbone : MobileNetV4HybridMedium (facteur=0.25)
│
├─Conv0 : Conv2d(3→8, k=3, s=2) + BN + ReLU6 → [8,320,320]
│
├─Layer1 : FusedIB(8→12, s=2) → [12,160,160] (P1)
│
├─Layer2 :
│ ├─UIB(12→20, s=2) → [20,80,80]
│ └─UIB(20→20, s=1) → [20,80,80] (P2)
│
├─Layer3 :
│ ├─UIB(20→40, s=2) → [40,40,40]
│ ├─UIB(40→40, s=1) → [40,40,40]
│ ├─UIB(40→40, s=1) → [40,40,40]
│ ├─4× (UIB+MHSA) → [40,40,40]
│ └─UIB(40→40, s=1) → [40,40,40] (P3)
│
└─Layer4 :
├─UIB(40→64, s=2) → [64,20,20]
├─5× UIB → [64,20,20]
├─4× (UIB+MHSA) → [64,20,20]
└─2× UIB → [64,20,20] (P4)
│
└─Neck :
│
├─SPPF :
│ Conv(64→32) → 3×MaxPool → Concat → Conv(128→1024) → [1024,20,20] (P5)
│
└─C2PSA_mona ×2 :
Divisé en deux branches de 512 canaux
Branche A : Connexion directe
Branche...](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQDBc1BIBGbvje1FqHJjm2d7CaYOob7cn%2Fcd190b7e-4df0-4d77-9c86-6989f592119d%2F9fa32595-8168-4390-8896-0d36eafa5a9f.png&w=3840&q=75)
![Veuillez générer un diagramme architectural détaillé du modèle YOLO11s-seg amélioré. Le diagramme doit illustrer chaque couche de la structure du réseau de manière aussi exhaustive que possible, en utilisant potentiellement des modules pour représenter des groupes de couches, tout en garantissant la précision structurelle. La disposition générale doit être divisée en sections gauche et droite. Le côté gauche doit représenter la structure dorsale améliorée, et le côté droit doit afficher les composants améliorés du cou et de la tête. Chaque bloc structurel doit être clair et complet. La palette de couleurs doit être dans des tons chauds, et le style doit imiter les figures que l'on trouve dans les articles de conférences ou de revues informatiques de premier plan. Les améliorations spécifiques sont basées sur les éléments suivants : Cette version améliorée utilise une stratégie d'optimisation hiérarchique et un mécanisme d'attention à double branche pour améliorer YOLO11s-seg. Dans le Backbone, MobileNetV4HybridMedium remplace le réseau dorsal d'origine pour améliorer les performances en termes de légèreté. Le cou intègre le module C2PSA_mona, un mécanisme d'attention innovant à double branche qui intègre PSA (Position Sensitive Attention) et Mona (Multi-scale Operator) dans des branches parallèles. La fusion des caractéristiques est réalisée grâce à des poids apprenables, ce qui améliore considérablement la représentation des caractéristiques multi-échelles et la robustesse dans des scénarios complexes. Dans la tête, une stratégie d'amélioration hiérarchique des caractéristiques dérivée de l'article DWRSeg est adoptée : les caractéristiques superficielles (P3/8) conservent le module C3k2 standard pour maintenir des caractéristiques de légèreté ; les caractéristiques intermédiaires (P4/16) utilisent le module C3k2_SIR, qui combine la convolution en profondeur et l'attention des canaux grâce à un mécanisme de raffinement de l'information spatiale pour affiner les caractéristiques et améliorer la localisation des bords, particulièrement adapté à la segmentation d'objets irréguliers ; les caractéristiques profondes (P5/32) utilisent le module C3k2_DWR, qui réalise une agrégation contextuelle à grande échelle grâce à une résidualisation régionale (extraction du contexte global) et une résidualisation sémantique (convolution atrous multi-branches avec des taux de dilatation de [1,3,5]), compensant efficacement le champ réceptif limité du réseau dorsal léger.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2Fdd1ff8ydE0r2YmRRutlgTwqrekhr45kr%2F11eefaa9-7ae8-41c4-8b1f-ac4138029b28%2F4e817789-1df2-48dc-828d-6c88ffd781f9.png&w=3840&q=75)