![Por favor, genera un diagrama de bloques claro que ilustre la arquitectura del siguiente modelo de red neuronal: Nombre del modelo: SAT-MoE. El lado izquierdo tiene dos bloques de entrada: 1) Características del proceso `opes` con forma [batch, num_opes, in_size_ope]; 2) Características de la máquina `mas` con forma [batch, num_mas, in_size_ma]. Primero, aplica dos proyecciones lineales para obtener representaciones ocultas de la misma dimensión, luego agrega incrustaciones de tipo (tipo de proceso = 0, tipo de máquina = 1), y adicionalmente agrega codificación posicional a la secuencia del proceso. Posteriormente, aplica LayerNorm a ambos caminos por separado, y luego concaténalos a lo largo de la dimensión de la secuencia en una secuencia larga, que se introduce en un codificador Transformer apilado (auto-atención, atención multi-cabeza, red feed-forward). Se puede conectar un módulo de Mixture-of-Experts (MoE) en el medio: una red de gating genera pesos para múltiples expertos MLP, y las salidas de los expertos para cada token se ponderan y se suman, seguido de una conexión residual y LayerNorm. La salida del Transformer se divide nuevamente en dos caminos de acuerdo con el número original de procesos y máquinas: representación del proceso y representación de la máquina. Luego, pásalos a través de dos capas de atención cruzada secuencialmente: La primera atención "Proceso → Máquina": las características del proceso sirven como Query, y las características de la máquina sirven como Key/Value, para obtener la representación del proceso actualizada; La segunda atención "Máquina → Proceso": las características de la máquina sirven como Query, y las características del proceso sirven como Key/Value, para obtener la representación de la máquina actualizada. Las salidas finales son las características del proceso actualizadas `out_opes` y las características de la máquina `out_mas`. Por favor, utiliza un diseño de flujo de datos de izquierda a derecha, conecta los módulos con flechas, etiqueta el nombre de cada módulo (como Proyección de Entrada, Incrustación de Tipo, Codificación Posicional, Codificador Transformer, MoE, Atención Ope-a-Máquina, Atención Máquina-a-Ope, etc.), y haz que el estilo del diagrama sea conciso y adecuado para la presentación en un artículo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
Ilustraciones relacionadas
Por favor, genera un diagrama de bloques claro que ilustre la arquitectura del siguiente modelo de red neuronal: Nombre del modelo: SAT-MoE. El lado izquierdo tiene dos bloques de entrada: 1) Características del proceso `opes` con forma [batch, num_opes, in_size_ope]; 2) Características de la máquina `mas` con forma [batch, num_mas, in_size_ma]. Primero, aplica dos proyecciones lineales para obtener representaciones ocultas de la misma dimensión, luego agrega incrustaciones de tipo (tipo de proceso = 0, tipo de máquina = 1), y adicionalmente agrega codificación posicional a la secuencia del proceso. Posteriormente, aplica LayerNorm a ambos caminos por separado, y luego concaténalos a lo largo de la dimensión de la secuencia en una secuencia larga, que se introduce en un codificador Transformer apilado (auto-atención, atención multi-cabeza, red feed-forward). Se puede conectar un módulo de Mixture-of-Experts (MoE) en el medio: una red de gating genera pesos para múltiples expertos MLP, y las salidas de los expertos para cada token se ponderan y se suman, seguido de una conexión residual y LayerNorm. La salida del Transformer se divide nuevamente en dos caminos de acuerdo con el número original de procesos y máquinas: representación del proceso y representación de la máquina. Luego, pásalos a través de dos capas de atención cruzada secuencialmente: La primera atención "Proceso → Máquina": las características del proceso sirven como Query, y las características de la máquina sirven como Key/Value, para obtener la representación del proceso actualizada; La segunda atención "Máquina → Proceso": las características de la máquina sirven como Query, y las características del proceso sirven como Key/Value, para obtener la representación de la máquina actualizada. Las salidas finales son las características del proceso actualizadas `out_opes` y las características de la máquina `out_mas`. Por favor, utiliza un diseño de flujo de datos de izquierda a derecha, conecta los módulos con flechas, etiqueta el nombre de cada módulo (como Proyección de Entrada, Incrustación de Tipo, Codificación Posicional, Codificador Transformer, MoE, Atención Ope-a-Máquina, Atención Máquina-a-Ope, etc.), y haz que el estilo del diagrama sea conciso y adecuado para la presentación en un artículo.
Este diagrama ilustra la diferencia entre la generación de p...
![El núcleo de cada iteración reside en generar individuos descendientes que satisfagan las restricciones y completar la evaluación de la aptitud de toda la población. Esto proporciona una base completa para seleccionar la nueva generación de la población. Esta etapa se divide en tres sub-pasos: generación de descendientes por cruce, generación de descendientes mutados adaptativamente, y fusión de la población y evaluación por lotes. En la generación de descendientes por cruce, el tamaño de la descendencia se establece en 10,000 para garantizar la eficiencia de la iteración y actualización de la población. Se utiliza la estrategia de selección por torneo para la selección de padres, seleccionando dos individuos padres con mejor aptitud de la población actual para mejorar la calidad general de la descendencia. Al mismo tiempo, la lógica del cruce debe cumplir con las condiciones de restricción. Los pasos específicos son separar el valor absoluto y el signo de los parámetros de los padres para evitar destruir las condiciones de restricción durante el proceso de cruce; realizar un cruce de interpolación lineal en los valores absolutos (α∈[0,1] se selecciona aleatoriamente) para generar el valor absoluto de los parámetros de la descendencia; realizar un recorte no negativo en los valores absolutos cruzados, y luego normalizarlos para asegurar que la suma de los valores absolutos sea 1; heredar aleatoriamente los signos de los parámetros de los padres y reconstruir el vector de parámetros de la descendencia completo. En la generación de descendientes por mutación adaptativa, el tamaño de la descendencia por mutación se establece en 1,000 para equilibrar la diversidad de la población y la eficiencia computacional. El padre se selecciona de la población actual a través de la selección por torneo para seleccionar un individuo padre de alta calidad y clonarlo como una plantilla de mutación. Al mismo tiempo, la intensidad de la mutación decae dinámicamente de 0.05 a 0.005 con el número de iteraciones, teniendo en cuenta la exploración temprana y el refinamiento tardío. Se realiza un recorte no negativo y una normalización en los valores absolutos mutados para asegurar que se cumplan las condiciones de restricción. Finalmente, el signo del parámetro se invierte aleatoriamente con una probabilidad del 10% para mejorar aún más la capacidad de exploración de la población. En la fusión de la población y la evaluación por lotes, la población actual (10,000), la descendencia por cruce (10,000) y la descendencia por mutación (1,000) se fusionan en una población completa temporal (21,000). Se extraen los individuos con aptitud no válida en la población temporal, y se realiza un cálculo integral de error ponderado por lotes en los individuos no válidos, y se asignan como valores de aptitud para completar la actualización de la aptitud de la población completa. Se registra la aptitud mínima (error mínimo) y la aptitud promedio (error promedio) de la generación actual para proporcionar soporte de datos para el monitoreo de la iteración.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
