Uno schema schematico in formato 16:9 con sfondo bianco, nello stile dei comuni schemi degli articoli SCI. Il flusso di informazioni va da sinistra a destra, suddiviso in tre bande funzionali orizzontali: il livello semantico, il livello di rappresentazione intermedio e il livello acustico. Il livello semantico e il modulo T2U si trovano al centro del diagramma, con dimensioni e peso visivo significativamente superiori rispetto agli altri moduli, enfatizzando la loro importanza nel modello. ──────────────────────── Livello Semantico (In Alto, Componente Centrale) Modulo Centrale: "Chinese BERT Encoder + Adapter + LoRA" Descrizione Testuale Interna (Accademica, Concisa): Input: Sequenza di testo cinese X Output: Rappresentazione semantica consapevole del contesto H′ Fine-tuning efficiente in termini di parametri utilizzando Adapter e LoRA. Punti Salienti del Design Visivo: Il modulo ha un bordo leggermente più spesso e un'area più ampia, enfatizzando il suo ruolo come nucleo della modellazione semantica. Il modulo si concentra esclusivamente su rappresentazioni semantiche astratte, senza coinvolgere fonemi, pronuncia o testo della lingua di destinazione. Connessioni (Chiave): Una singola freccia continua ha origine da questo modulo, puntando direttamente al modulo T2U sottostante, etichettata come: "Rappresentazione Semantica → Spazio di Predizione di Unità Vocali Discrete" Rappresenta il flusso di informazioni primario durante l'inferenza. ──────────────────────── Modulo T2U (Hub Centrale tra Livello Semantico e Acustico, Centro Visivo) Nome del Modulo: "T2U: Mappatura Testo-a-Unità e Durata" Descrizione del Posizionamento del Modulo (Testo piccolo o annotazione all'interno del modulo): "Interfaccia intermedia che collega lo spazio semantico e lo spazio vocale" Descrizione Funzionale (Non suddivisa in sottomoduli, espressa in testo): Input: Rappresentazione semantica H′ Output 1: Sequenza di unità vocali discrete Ũ Output 2: Sequenza di durata delle unità vocali D̂ Significato della Modellazione (Stile SCI): Il modulo T2U apprende una mappatura stabile dallo spazio semantico cinese a uno spazio di unità vocali discrete indipendente dalla lingua, senza fare affidamento sul testo della lingua di destinazione o su regole fonetiche manuali durante l'inferenza. Connessioni (Focus sulla risposta a "Qual è la connessione intermedia?"): 1) Freccia Continua verso il Basso → Livello Acustico (che indica l'uso dell'unità e della durata previste durante l'inferenza) 2) Freccia Tratteggiata Grigia dal Livello di Rappresentazione Intermedio → T2U (che indica il segnale di supervisione durante l'addestramento) ──────────────────────── Livello di Rappresentazione Intermedio (Centrale, Ausiliario ma Critico) Catena di Moduli (Disposizione Orizzontale): "Voce Grezza → HuBERT (Codifica Vocale Auto-Supervisionata) → Clustering k-means → Unità Vocali Discrete + Allineamento Temporale" Descrizione del Posizionamento Funzionale (Annotazione): Questo livello viene utilizzato solo durante l'addestramento.
Basato sul quadro di ricerca della National Natural Science ...
![Genera un diagramma a blocchi chiaro che illustri l'architettura del seguente modello di rete neurale: Nome del modello: SAT-MoE. Il lato sinistro ha due blocchi di input: 1) Feature di processo `opes` con shape [batch, num_opes, in_size_ope]; 2) Feature di macchina `mas` con shape [batch, num_mas, in_size_ma]. Innanzitutto, applica due proiezioni lineari per ottenere rappresentazioni nascoste della stessa dimensione, quindi aggiungi embedding di tipo (tipo processo = 0, tipo macchina = 1) e, inoltre, aggiungi codifica posizionale alla sequenza di processo. Successivamente, applica LayerNorm a entrambi i percorsi separatamente, e poi concatenali lungo la dimensione della sequenza in una sequenza lunga, che viene alimentata a un Transformer Encoder impilato (self-attention, multi-head attention, feed-forward network). Un modulo Mixture-of-Experts (MoE) può essere collegato nel mezzo: una rete di gating produce pesi per molteplici esperti MLP, e gli output degli esperti per ogni token sono pesati e sommati, seguiti da una connessione residua e LayerNorm. L'output del Transformer viene quindi suddiviso nuovamente in due percorsi in base al numero originale di processi e macchine: rappresentazione del processo e rappresentazione della macchina. Quindi, falli passare attraverso due layer di cross-attention in sequenza: La prima attenzione "Processo → Macchina": le feature di processo fungono da Query e le feature di macchina fungono da Key/Value, per ottenere la rappresentazione del processo aggiornata; La seconda attenzione "Macchina → Processo": le feature di macchina fungono da Query e le feature di processo fungono da Key/Value, per ottenere la rappresentazione della macchina aggiornata. Gli output finali sono le feature di processo aggiornate `out_opes` e le feature di macchina `out_mas`. Utilizza un layout di flusso di dati da sinistra a destra, collega i moduli con frecce, etichetta il nome di ciascun modulo (come Proiezione di Input, Embedding di Tipo, Codifica Posizionale, Transformer Encoder, MoE, Attenzione Ope-to-Machine, Attenzione Machine-to-Ope, ecc.) e rendi lo stile del diagramma conciso e adatto alla presentazione in un articolo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)