Ein schematisches Diagramm im 16:9-Format mit weißem Hintergrund, im Stil gängiger SCI-Paper-Schemata. Der Informationsfluss verläuft von links nach rechts, unterteilt in drei horizontale Funktionsbereiche: die semantische Schicht, die mittlere Repräsentationsschicht und die akustische Schicht. Die semantische Schicht und das T2U-Modul befinden sich im Zentrum des Diagramms, wobei ihre Größe und ihr visuelles Gewicht deutlich höher sind als bei anderen Modulen, um ihre Bedeutung im Modell hervorzuheben. ──────────────────────── Semantische Schicht (Oben, Kernkomponente) Kernmodul: "Chinesischer BERT Encoder + Adapter + LoRA" Interne Textbeschreibung (Akademisch, Prägnant): Eingabe: Chinesische Textsequenz X Ausgabe: Kontextbezogene semantische Repräsentation H′ Parameter-effizientes Fine-Tuning mit Adapter und LoRA. Visuelle Design-Highlights: Das Modul hat einen etwas dickeren Rand und eine größere Fläche, um seine Rolle als Kern der semantischen Modellierung hervorzuheben. Das Modul konzentriert sich ausschließlich auf abstrakte semantische Repräsentationen, ohne Phoneme, Aussprache oder Zielsprachentext einzubeziehen. Verbindungen (Schlüssel): Ein einzelner durchgezogener Pfeil geht von diesem Modul aus und zeigt direkt auf das T2U-Modul darunter, beschriftet als: "Semantische Repräsentation → Diskreter Sprachbaustein-Vorhersageraum" Darstellung des primären Informationsflusses während der Inferenz. ──────────────────────── T2U-Modul (Zentrale Drehscheibe zwischen semantischer und akustischer Schicht, Visuelles Zentrum) Modulname: "T2U: Text-to-Unit & Dauer-Mapping" Modul-Positionierungsbeschreibung (Kleiner Text oder Annotation innerhalb des Moduls): "Zwischenschnittstelle, die semantischen Raum und Sprachraum verbindet" Funktionsbeschreibung (Nicht in Submodule unterteilt, in Text ausgedrückt): Eingabe: Semantische Repräsentation H′ Ausgabe 1: Diskrete Sprachbausteinsequenz Ũ Ausgabe 2: Sprachbaustein-Dauersequenz D̂ Modellierungsbedeutung (SCI-Stil): Das T2U-Modul lernt ein stabiles Mapping vom chinesischen semantischen Raum zu einem sprachunabhängigen diskreten Sprachbausteinraum, ohne sich während der Inferenz auf Zielsprachentext oder manuelle phonetische Regeln zu verlassen. Verbindungen (Fokus auf die Beantwortung von "Was ist die Zwischenverbindung?"): 1) Abwärts gerichteter durchgezogener Pfeil → Akustische Schicht (der die Verwendung von vorhergesagter Einheit und Dauer während der Inferenz anzeigt) 2) Grauer gestrichelter Pfeil von der mittleren Repräsentationsschicht → T2U (der das Überwachungssignal während des Trainings anzeigt) ──────────────────────── Mittlere Repräsentationsschicht (Mitte, Hilfs-, aber Kritisch) Modulkette (Horizontale Anordnung): "Rohe Sprache → HuBERT (Selbstüberwachtes Sprach-Encoding) → k-Means-Clustering → Diskrete Sprachbausteine + Zeitausrichtung" Funktionale Positionierungsbeschreibung (Annotation): Diese Schicht wird nur während des Trainings verwendet."
Basierend auf dem Forschungsrahmen der National Natural Scie...
![Bitte erstellen Sie ein übersichtliches Blockdiagramm, das die Architektur des folgenden neuronalen Netzwerkmodells veranschaulicht: Modellname: SAT-MoE. Die linke Seite hat zwei Eingangsblöcke: 1) Prozessmerkmale `opes` mit Form [Batch, num_opes, in_size_ope]; 2) Maschinenmerkmale `mas` mit Form [Batch, num_mas, in_size_ma]. Wenden Sie zuerst zwei lineare Projektionen an, um verborgene Repräsentationen derselben Dimension zu erhalten, fügen Sie dann Typ-Einbettungen hinzu (Prozesstyp = 0, Maschinentyp = 1) und zusätzlich eine Positionskodierung zur Prozesssequenz. Wenden Sie anschließend LayerNorm auf beide Pfade separat an und verketten Sie sie dann entlang der Sequenzdimension zu einer langen Sequenz, die in einen gestapelten Transformer Encoder eingespeist wird (Selbstaufmerksamkeit, Multi-Head-Aufmerksamkeit, Feed-Forward-Netzwerk). Ein Mixture-of-Experts (MoE)-Modul kann in der Mitte verbunden werden: ein Gating-Netzwerk gibt Gewichte für mehrere MLP-Experten aus, und die Expertenausgaben für jedes Token werden gewichtet und summiert, gefolgt von einer residualen Verbindung und LayerNorm. Die Transformer-Ausgabe wird dann gemäß der ursprünglichen Anzahl von Prozessen und Maschinen wieder in zwei Pfade aufgeteilt: Prozessrepräsentation und Maschinenrepräsentation. Leiten Sie sie dann nacheinander durch zwei Cross-Attention-Schichten: Die erste "Prozess → Maschine"-Aufmerksamkeit: Prozessmerkmale dienen als Query und Maschinenmerkmale dienen als Key/Value, um die aktualisierte Prozessrepräsentation zu erhalten; Die zweite "Maschine → Prozess"-Aufmerksamkeit: Maschinenmerkmale dienen als Query und Prozessmerkmale dienen als Key/Value, um die aktualisierte Maschinenrepräsentation zu erhalten. Die endgültigen Ausgaben sind die aktualisierten Prozessmerkmale `out_opes` und Maschinenmerkmale `out_mas`. Bitte verwenden Sie ein Links-nach-Rechts-Datenflusslayout, verbinden Sie die Module mit Pfeilen, beschriften Sie den Namen jedes Moduls (wie z. B. Eingabeprojektion, Typ-Einbettung, Positionskodierung, Transformer Encoder, MoE, Ope-zu-Maschine-Aufmerksamkeit, Maschine-zu-Ope-Aufmerksamkeit usw.) und gestalten Sie den Diagrammstil prägnant und geeignet für die Präsentation in wissenschaftlichen Arbeiten.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)