Un schéma en format 16:9 avec un fond blanc, dans le style des schémas d'articles scientifiques courants. Le flux d'informations va de gauche à droite, divisé en trois bandes fonctionnelles horizontales : la couche sémantique, la couche de représentation intermédiaire et la couche acoustique. La couche sémantique et le module T2U sont situés au centre du schéma, avec une taille et un poids visuel significativement plus élevés que les autres modules, soulignant leur importance dans le modèle. ──────────────────────── Couche Sémantique (Haut, Composant Central) Module Central : "Encodeur BERT Chinois + Adaptateur + LoRA" Description Textuelle Interne (Académique, Concise) : Entrée : Séquence de texte chinois X Sortie : Représentation sémantique sensible au contexte H′ Fine-tuning économe en paramètres utilisant Adaptateur et LoRA. Points Forts de la Conception Visuelle : Le module a une bordure légèrement plus épaisse et une plus grande surface, soulignant son rôle de cœur de la modélisation sémantique. Le module se concentre uniquement sur les représentations sémantiques abstraites, sans impliquer de phonèmes, de prononciation ou de texte de la langue cible. Connexions (Clé) : Une seule flèche pleine part de ce module, pointant directement vers le module T2U en dessous, étiquetée comme : "Représentation Sémantique → Espace de Prédiction d'Unités de Parole Discrètes" Représentant le flux d'informations principal pendant l'inférence. ──────────────────────── Module T2U (Hub Central entre les Couches Sémantique et Acoustique, Centre Visuel) Nom du Module : "T2U : Mappage Texte-vers-Unité & Durée" Description du Positionnement du Module (Petit texte ou annotation dans le module) : "Interface intermédiaire reliant l'espace sémantique et l'espace de la parole" Description Fonctionnelle (Non divisée en sous-modules, exprimée en texte) : Entrée : Représentation sémantique H′ Sortie 1 : Séquence d'unités de parole discrètes Ũ Sortie 2 : Séquence de durée des unités de parole D̂ Signification de la Modélisation (Style SCI) : Le module T2U apprend un mappage stable de l'espace sémantique chinois vers un espace d'unités de parole discrètes indépendant de la langue, sans s'appuyer sur le texte de la langue cible ou sur des règles phonétiques manuelles pendant l'inférence. Connexions (Concentrez-vous sur la réponse à la question "Quelle est la connexion intermédiaire ?") : 1) Flèche Pleine vers le Bas → Couche Acoustique (indiquant l'utilisation de l'unité et de la durée prédites pendant l'inférence) 2) Flèche Grise en Pointillés depuis la Couche de Représentation Intermédiaire → T2U (indiquant le signal de supervision pendant l'entraînement) ──────────────────────── Couche de Représentation Intermédiaire (Milieu, Auxiliaire mais Critique) Chaîne de Modules (Disposition Horizontale) : "Parole Brute → HuBERT (Encodage de la Parole Auto-Supervisé) → Clustering k-means → Unités de Parole Discrètes + Alignement Temporel" Description du Positionnement Fonctionnel (Annotation) : "Cette couche n'est utilisée que pendant l'entraînement."
Basé sur le cadre de recherche de la Fondation Nationale des...
![Veuillez générer un schéma bloc clair illustrant l'architecture du modèle de réseau neuronal suivant : Nom du modèle : SAT-MoE. Le côté gauche comporte deux blocs d'entrée : 1) Caractéristiques du processus `opes` avec la forme [batch, num_opes, in_size_ope] ; 2) Caractéristiques de la machine `mas` avec la forme [batch, num_mas, in_size_ma]. Appliquer d'abord deux projections linéaires pour obtenir des représentations cachées de la même dimension, puis ajouter des embeddings de type (type de processus = 0, type de machine = 1), et ajouter en plus un encodage positionnel à la séquence de processus. Appliquer ensuite LayerNorm aux deux chemins séparément, puis les concaténer le long de la dimension de la séquence en une longue séquence, qui est introduite dans un encodeur Transformer empilé (auto-attention, attention multi-tête, réseau feed-forward). Un module Mixture-of-Experts (MoE) peut être connecté au milieu : un réseau de gating produit des poids pour plusieurs experts MLP, et les sorties d'experts pour chaque token sont pondérées et additionnées, suivies d'une connexion résiduelle et de LayerNorm. La sortie du Transformer est ensuite divisée en deux chemins selon le nombre original de processus et de machines : représentation du processus et représentation de la machine. Ensuite, les faire passer séquentiellement à travers deux couches d'attention croisée : La première attention "Processus → Machine" : les caractéristiques du processus servent de Query, et les caractéristiques de la machine servent de Key/Value, pour obtenir la représentation du processus mise à jour ; La deuxième attention "Machine → Processus" : les caractéristiques de la machine servent de Query, et les caractéristiques du processus servent de Key/Value, pour obtenir la représentation de la machine mise à jour. Les sorties finales sont les caractéristiques du processus mises à jour `out_opes` et les caractéristiques de la machine mises à jour `out_mas`. Veuillez utiliser une disposition de flux de données de gauche à droite, connecter les modules avec des flèches, étiqueter le nom de chaque module (tel que Projection d'entrée, Embedding de type, Encodage positionnel, Encodeur Transformer, MoE, Attention Ope-vers-Machine, Attention Machine-vers-Ope, etc.), et rendre le style du diagramme concis et adapté à une présentation dans un article.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)