![Veuillez générer un schéma bloc clair illustrant l'architecture du modèle de réseau neuronal suivant : Nom du modèle : SAT-MoE. Le côté gauche comporte deux blocs d'entrée : 1) Caractéristiques du processus `opes` avec la forme [batch, num_opes, in_size_ope] ; 2) Caractéristiques de la machine `mas` avec la forme [batch, num_mas, in_size_ma]. Appliquer d'abord deux projections linéaires pour obtenir des représentations cachées de la même dimension, puis ajouter des embeddings de type (type de processus = 0, type de machine = 1), et ajouter en plus un encodage positionnel à la séquence de processus. Appliquer ensuite LayerNorm aux deux chemins séparément, puis les concaténer le long de la dimension de la séquence en une longue séquence, qui est introduite dans un encodeur Transformer empilé (auto-attention, attention multi-tête, réseau feed-forward). Un module Mixture-of-Experts (MoE) peut être connecté au milieu : un réseau de gating produit des poids pour plusieurs experts MLP, et les sorties d'experts pour chaque token sont pondérées et additionnées, suivies d'une connexion résiduelle et de LayerNorm. La sortie du Transformer est ensuite divisée en deux chemins selon le nombre original de processus et de machines : représentation du processus et représentation de la machine. Ensuite, les faire passer séquentiellement à travers deux couches d'attention croisée : La première attention "Processus → Machine" : les caractéristiques du processus servent de Query, et les caractéristiques de la machine servent de Key/Value, pour obtenir la représentation du processus mise à jour ; La deuxième attention "Machine → Processus" : les caractéristiques de la machine servent de Query, et les caractéristiques du processus servent de Key/Value, pour obtenir la représentation de la machine mise à jour. Les sorties finales sont les caractéristiques du processus mises à jour `out_opes` et les caractéristiques de la machine mises à jour `out_mas`. Veuillez utiliser une disposition de flux de données de gauche à droite, connecter les modules avec des flèches, étiqueter le nom de chaque module (tel que Projection d'entrée, Embedding de type, Encodage positionnel, Encodeur Transformer, MoE, Attention Ope-vers-Machine, Attention Machine-vers-Ope, etc.), et rendre le style du diagramme concis et adapté à une présentation dans un article.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
Illustrations associées
Veuillez générer un schéma bloc clair illustrant l'architecture du modèle de réseau neuronal suivant : Nom du modèle : SAT-MoE. Le côté gauche comporte deux blocs d'entrée : 1) Caractéristiques du processus `opes` avec la forme [batch, num_opes, in_size_ope] ; 2) Caractéristiques de la machine `mas` avec la forme [batch, num_mas, in_size_ma]. Appliquer d'abord deux projections linéaires pour obtenir des représentations cachées de la même dimension, puis ajouter des embeddings de type (type de processus = 0, type de machine = 1), et ajouter en plus un encodage positionnel à la séquence de processus. Appliquer ensuite LayerNorm aux deux chemins séparément, puis les concaténer le long de la dimension de la séquence en une longue séquence, qui est introduite dans un encodeur Transformer empilé (auto-attention, attention multi-tête, réseau feed-forward). Un module Mixture-of-Experts (MoE) peut être connecté au milieu : un réseau de gating produit des poids pour plusieurs experts MLP, et les sorties d'experts pour chaque token sont pondérées et additionnées, suivies d'une connexion résiduelle et de LayerNorm. La sortie du Transformer est ensuite divisée en deux chemins selon le nombre original de processus et de machines : représentation du processus et représentation de la machine. Ensuite, les faire passer séquentiellement à travers deux couches d'attention croisée : La première attention "Processus → Machine" : les caractéristiques du processus servent de Query, et les caractéristiques de la machine servent de Key/Value, pour obtenir la représentation du processus mise à jour ; La deuxième attention "Machine → Processus" : les caractéristiques de la machine servent de Query, et les caractéristiques du processus servent de Key/Value, pour obtenir la représentation de la machine mise à jour. Les sorties finales sont les caractéristiques du processus mises à jour `out_opes` et les caractéristiques de la machine mises à jour `out_mas`. Veuillez utiliser une disposition de flux de données de gauche à droite, connecter les modules avec des flèches, étiqueter le nom de chaque module (tel que Projection d'entrée, Embedding de type, Encodage positionnel, Encodeur Transformer, MoE, Attention Ope-vers-Machine, Attention Machine-vers-Ope, etc.), et rendre le style du diagramme concis et adapté à une présentation dans un article.
Ce diagramme illustre la différence entre la génération de p...
![Le cœur de chaque itération réside dans la génération d'individus descendants qui satisfont aux contraintes et dans la réalisation de l'évaluation de la fitness de l'ensemble de la population. Ceci fournit une base complète pour la sélection de la nouvelle génération de la population. Cette étape est divisée en trois sous-étapes : la génération de descendants par croisement, la génération de descendants mutés de manière adaptative, et la fusion de la population et l'évaluation par lots. Dans la génération de descendants par croisement, la taille des descendants est fixée à 10 000 pour assurer l'efficacité de l'itération et de la mise à jour de la population. La stratégie de sélection par tournoi est utilisée pour la sélection des parents, en sélectionnant deux individus parents avec une meilleure fitness dans la population actuelle afin d'améliorer la qualité globale des descendants. Parallèlement, la logique de croisement doit satisfaire aux conditions de contrainte. Les étapes spécifiques consistent à séparer la valeur absolue et le signe des paramètres parents pour éviter de détruire les conditions de contrainte pendant le processus de croisement ; effectuer un croisement par interpolation linéaire sur les valeurs absolues (α∈[0,1] est sélectionné aléatoirement) pour générer la valeur absolue des paramètres descendants ; effectuer un écrêtage non négatif sur les valeurs absolues croisées, puis les normaliser pour s'assurer que la somme des valeurs absolues est égale à 1 ; hériter aléatoirement des signes des paramètres parents et reconstruire le vecteur complet des paramètres descendants. Dans la génération de descendants par mutation adaptative, la taille des descendants mutés est fixée à 1 000 pour équilibrer la diversité de la population et l'efficacité du calcul. Le parent est sélectionné dans la population actuelle par le biais d'une sélection par tournoi afin de sélectionner un individu parent de haute qualité et de le cloner comme modèle de mutation. Parallèlement, l'intensité de la mutation diminue dynamiquement de 0,05 à 0,005 avec le nombre d'itérations, en tenant compte de l'exploration précoce et du raffinement tardif. Un écrêtage non négatif et une normalisation sont effectués sur les valeurs absolues mutées pour s'assurer que les conditions de contrainte sont satisfaites. Enfin, le signe du paramètre est inversé aléatoirement avec une probabilité de 10 % afin d'améliorer encore la capacité d'exploration de la population. Dans la fusion de la population et l'évaluation par lots, la population actuelle (10 000), les descendants par croisement (10 000) et les descendants par mutation (1 000) sont fusionnés en une population complète temporaire (21 000). Les individus ayant une fitness invalide dans la population temporaire sont extraits, et un calcul d'erreur complet pondéré par lots est effectué sur les individus invalides, et attribué comme valeurs de fitness pour compléter la mise à jour de la fitness de la population complète. La fitness minimale (erreur minimale) et la fitness moyenne (erreur moyenne) de la génération actuelle sont enregistrées afin de fournir un support de données pour la surveillance de l'itération.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
