Un diagrama esquemático en formato 16:9 con un fondo blanco, con el estilo de los esquemas comunes de artículos científicos (SCI). El flujo de información es de izquierda a derecha, dividido en tres bandas funcionales horizontales: la capa semántica, la capa de representación intermedia y la capa acústica. La capa semántica y el módulo T2U están ubicados en el centro del diagrama, con un tamaño y peso visual significativamente mayores que otros módulos, enfatizando su importancia en el modelo. ──────────────────────── Capa Semántica (Superior, Componente Central) Módulo Central: "Codificador BERT Chino + Adaptador + LoRA" Descripción de Texto Interna (Académica, Concisa): Entrada: Secuencia de texto chino X Salida: Representación semántica consciente del contexto H′ Ajuste fino eficiente en parámetros utilizando Adaptador y LoRA. Aspectos Destacados del Diseño Visual: El módulo tiene un borde ligeramente más grueso y un área más grande, enfatizando su papel como el núcleo del modelado semántico. El módulo se centra únicamente en representaciones semánticas abstractas, sin involucrar fonemas, pronunciación o texto en el idioma de destino. Conexiones (Clave): Una única flecha sólida se origina en este módulo, apuntando directamente al módulo T2U debajo, etiquetada como: "Representación Semántica → Espacio de Predicción de Unidades de Habla Discretas" Representando el flujo de información primario durante la inferencia. ──────────────────────── Módulo T2U (Centro Neurálgico entre las Capas Semántica y Acústica, Centro Visual) Nombre del Módulo: "T2U: Mapeo de Texto a Unidad y Duración" Descripción del Posicionamiento del Módulo (Texto pequeño o anotación dentro del módulo): "Interfaz intermedia que conecta el espacio semántico y el espacio del habla" Descripción Funcional (No dividido en sub-módulos, expresado en texto): Entrada: Representación semántica H′ Salida 1: Secuencia de unidades de habla discretas Ũ Salida 2: Secuencia de duración de unidades de habla D̂ Significado del Modelado (Estilo SCI): El módulo T2U aprende un mapeo estable desde el espacio semántico chino a un espacio de unidades de habla discretas agnóstico al idioma, sin depender del texto en el idioma de destino o reglas fonéticas manuales durante la inferencia. Conexiones (Enfoque en responder "¿Cuál es la conexión intermedia?"): 1) Flecha Sólida hacia Abajo → Capa Acústica (indicando el uso de la unidad y duración predichas durante la inferencia) 2) Flecha Discontinua Gris desde la Capa de Representación Intermedia → T2U (indicando la señal de supervisión durante el entrenamiento) ──────────────────────── Capa de Representación Intermedia (Media, Auxiliar pero Crítica) Cadena de Módulos (Disposición Horizontal): "Habla Bruta → HuBERT (Codificación de Habla Auto-Supervisada) → Agrupamiento k-means → Unidades de Habla Discretas + Alineación Temporal" Descripción del Posicionamiento Funcional (Anotación): Esta capa solo se utiliza durante el entrenamiento.
Basado en el marco de investigación de la Fundación Nacional...
![Por favor, genera un diagrama de bloques claro que ilustre la arquitectura del siguiente modelo de red neuronal: Nombre del modelo: SAT-MoE. El lado izquierdo tiene dos bloques de entrada: 1) Características del proceso `opes` con forma [batch, num_opes, in_size_ope]; 2) Características de la máquina `mas` con forma [batch, num_mas, in_size_ma]. Primero, aplica dos proyecciones lineales para obtener representaciones ocultas de la misma dimensión, luego agrega incrustaciones de tipo (tipo de proceso = 0, tipo de máquina = 1), y adicionalmente agrega codificación posicional a la secuencia del proceso. Posteriormente, aplica LayerNorm a ambos caminos por separado, y luego concaténalos a lo largo de la dimensión de la secuencia en una secuencia larga, que se introduce en un codificador Transformer apilado (auto-atención, atención multi-cabeza, red feed-forward). Se puede conectar un módulo de Mixture-of-Experts (MoE) en el medio: una red de gating genera pesos para múltiples expertos MLP, y las salidas de los expertos para cada token se ponderan y se suman, seguido de una conexión residual y LayerNorm. La salida del Transformer se divide nuevamente en dos caminos de acuerdo con el número original de procesos y máquinas: representación del proceso y representación de la máquina. Luego, pásalos a través de dos capas de atención cruzada secuencialmente: La primera atención "Proceso → Máquina": las características del proceso sirven como Query, y las características de la máquina sirven como Key/Value, para obtener la representación del proceso actualizada; La segunda atención "Máquina → Proceso": las características de la máquina sirven como Query, y las características del proceso sirven como Key/Value, para obtener la representación de la máquina actualizada. Las salidas finales son las características del proceso actualizadas `out_opes` y las características de la máquina `out_mas`. Por favor, utiliza un diseño de flujo de datos de izquierda a derecha, conecta los módulos con flechas, etiqueta el nombre de cada módulo (como Proyección de Entrada, Incrustación de Tipo, Codificación Posicional, Codificador Transformer, MoE, Atención Ope-a-Máquina, Atención Máquina-a-Ope, etc.), y haz que el estilo del diagrama sea conciso y adecuado para la presentación en un artículo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)