Ce diagramme illustre la différence entre la génération de prompts statique et dynamique dans le domaine de l'informatique. Les exemples dans l'image sont les suivants : 1. Exemple de Prompt Statique (Scénario de Tâche de Question-Réponse Multi-Sauts) : Pour la tâche de question-réponse multi-sauts sur la connaissance "Décrivez brièvement les différences fondamentales et l'impact historique du système d'examen impérial de la dynastie Tang par rapport au système d'examen impérial de la dynastie Song", le prompt statique utilise un modèle fixe prédéfini manuellement. Le contenu est "Veuillez répondre à la question suivante : {question}. Veuillez développer en points et utiliser un langage concis." Ce modèle de prompt ne différencie pas la profondeur des connaissances historiques impliquées dans la question ni la complexité des étapes de raisonnement (cette question nécessite au moins deux étapes de raisonnement : d'abord, trier le contenu essentiel du système d'examen impérial des dynasties Tang/Song, puis comparer les différences et analyser l'impact). Il ne s'adapte pas non plus au niveau de capacité du grand modèle de langage utilisé (par exemple, il ne complète pas les explications des concepts de base pour les modèles de niveau de base, ni n'ajoute de conseils d'analyse approfondie pour les modèles avancés). Il agit toujours sur le modèle avec une expression unifiée, ce qui peut facilement conduire à ce que les modèles de base soient incapables de terminer le raisonnement en raison d'un manque de base conceptuelle, et à ce que les modèles avancés produisent un contenu superficiel en raison d'un guidage insuffisant. 2. Exemple de Prompt Dynamique (Même Scénario de Tâche de Question-Réponse Multi-Sauts) : Pour la même question ci-dessus, le processus de génération de prompt dynamique doit passer par quatre étapes adaptatives : "analyse de la tâche - récupération des connaissances - adaptation du modèle - génération du prompt". Tout d'abord, le module d'analyse de la tâche identifie que la question appartient à une tâche de raisonnement multi-sauts dans le domaine de l'histoire, nécessitant une chaîne logique de 2 à 3 étapes. Deuxièmement, le mécanisme RAG récupère les points de connaissance essentiels du système d'examen impérial de la dynastie Tang (tels que le statut du sujet Jinshi et la non-application du système d'anonymat) et du système d'examen impérial de la dynastie Song (tels que la mise en œuvre du système de transcription d'anonymat et l'institutionnalisation de l'examen du palais). Ensuite, combiné aux caractéristiques du modèle utilisé (en supposant qu'il s'agit d'un modèle de niveau intermédiaire), il est déterminé qu'il est nécessaire de compléter les transitions de concepts de base, mais qu'une simplification excessive n'est pas nécessaire. Enfin, un prompt dynamique est généré : "Veuillez compléter l'analyse de la question en vous basant sur les connaissances historiques suivantes, et répondre en trois étapes de raisonnement : 1. Tout d'abord, clarifiez les caractéristiques essentielles du système d'examen impérial de la dynastie Tang (référence : sujet Jinshi comme noyau, pas de système d'anonymat, petit nombre d'admissions) ; 2. Ensuite, triez les principaux changements dans le système d'examen impérial de la dynastie Song (référence : mise en œuvre du système de transcription d'anonymat, normalisation de l'examen du palais, expansion de l'échelle des admissions) ; 3. Comparez les différences fondamentales entre les deux et développez leur impact historique sur la mobilité des classes sociales et la construction du système bureaucratique à cette époque. Question : Décrivez brièvement les différences fondamentales et l'impact historique du système d'examen impérial de la dynastie Tang par rapport au système d'examen impérial de la dynastie Song." Ce prompt peut ajuster dynamiquement l'expression et la logique de guidage du raisonnement en fonction de la complexité de la question, des détails des connaissances récupérées et des capacités du modèle.
Veuillez générer un schéma bloc clair illustrant l'architect...
![Veuillez générer un schéma bloc clair illustrant l'architecture du modèle de réseau neuronal suivant : Nom du modèle : SAT-MoE. Le côté gauche comporte deux blocs d'entrée : 1) Caractéristiques du processus `opes` avec la forme [batch, num_opes, in_size_ope] ; 2) Caractéristiques de la machine `mas` avec la forme [batch, num_mas, in_size_ma]. Appliquer d'abord deux projections linéaires pour obtenir des représentations cachées de la même dimension, puis ajouter des embeddings de type (type de processus = 0, type de machine = 1), et ajouter en plus un encodage positionnel à la séquence de processus. Appliquer ensuite LayerNorm aux deux chemins séparément, puis les concaténer le long de la dimension de la séquence en une longue séquence, qui est introduite dans un encodeur Transformer empilé (auto-attention, attention multi-tête, réseau feed-forward). Un module Mixture-of-Experts (MoE) peut être connecté au milieu : un réseau de gating produit des poids pour plusieurs experts MLP, et les sorties d'experts pour chaque token sont pondérées et additionnées, suivies d'une connexion résiduelle et de LayerNorm. La sortie du Transformer est ensuite divisée en deux chemins selon le nombre original de processus et de machines : représentation du processus et représentation de la machine. Ensuite, les faire passer séquentiellement à travers deux couches d'attention croisée : La première attention "Processus → Machine" : les caractéristiques du processus servent de Query, et les caractéristiques de la machine servent de Key/Value, pour obtenir la représentation du processus mise à jour ; La deuxième attention "Machine → Processus" : les caractéristiques de la machine servent de Query, et les caractéristiques du processus servent de Key/Value, pour obtenir la représentation de la machine mise à jour. Les sorties finales sont les caractéristiques du processus mises à jour `out_opes` et les caractéristiques de la machine mises à jour `out_mas`. Veuillez utiliser une disposition de flux de données de gauche à droite, connecter les modules avec des flèches, étiqueter le nom de chaque module (tel que Projection d'entrée, Embedding de type, Encodage positionnel, Encodeur Transformer, MoE, Attention Ope-vers-Machine, Attention Machine-vers-Ope, etc.), et rendre le style du diagramme concis et adapté à une présentation dans un article.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![Le cœur de chaque itération réside dans la génération d'individus descendants qui satisfont aux contraintes et dans la réalisation de l'évaluation de la fitness de l'ensemble de la population. Ceci fournit une base complète pour la sélection de la nouvelle génération de la population. Cette étape est divisée en trois sous-étapes : la génération de descendants par croisement, la génération de descendants mutés de manière adaptative, et la fusion de la population et l'évaluation par lots. Dans la génération de descendants par croisement, la taille des descendants est fixée à 10 000 pour assurer l'efficacité de l'itération et de la mise à jour de la population. La stratégie de sélection par tournoi est utilisée pour la sélection des parents, en sélectionnant deux individus parents avec une meilleure fitness dans la population actuelle afin d'améliorer la qualité globale des descendants. Parallèlement, la logique de croisement doit satisfaire aux conditions de contrainte. Les étapes spécifiques consistent à séparer la valeur absolue et le signe des paramètres parents pour éviter de détruire les conditions de contrainte pendant le processus de croisement ; effectuer un croisement par interpolation linéaire sur les valeurs absolues (α∈[0,1] est sélectionné aléatoirement) pour générer la valeur absolue des paramètres descendants ; effectuer un écrêtage non négatif sur les valeurs absolues croisées, puis les normaliser pour s'assurer que la somme des valeurs absolues est égale à 1 ; hériter aléatoirement des signes des paramètres parents et reconstruire le vecteur complet des paramètres descendants. Dans la génération de descendants par mutation adaptative, la taille des descendants mutés est fixée à 1 000 pour équilibrer la diversité de la population et l'efficacité du calcul. Le parent est sélectionné dans la population actuelle par le biais d'une sélection par tournoi afin de sélectionner un individu parent de haute qualité et de le cloner comme modèle de mutation. Parallèlement, l'intensité de la mutation diminue dynamiquement de 0,05 à 0,005 avec le nombre d'itérations, en tenant compte de l'exploration précoce et du raffinement tardif. Un écrêtage non négatif et une normalisation sont effectués sur les valeurs absolues mutées pour s'assurer que les conditions de contrainte sont satisfaites. Enfin, le signe du paramètre est inversé aléatoirement avec une probabilité de 10 % afin d'améliorer encore la capacité d'exploration de la population. Dans la fusion de la population et l'évaluation par lots, la population actuelle (10 000), les descendants par croisement (10 000) et les descendants par mutation (1 000) sont fusionnés en une population complète temporaire (21 000). Les individus ayant une fitness invalide dans la population temporaire sont extraits, et un calcul d'erreur complet pondéré par lots est effectué sur les individus invalides, et attribué comme valeurs de fitness pour compléter la mise à jour de la fitness de la population complète. La fitness minimale (erreur minimale) et la fitness moyenne (erreur moyenne) de la génération actuelle sont enregistrées afin de fournir un support de données pour la surveillance de l'itération.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)