Description du prompt
Cette expérience vise à étudier l'impact de l'hétérogénéité de la distribution des données sur la performance des algorithmes d'apprentissage fédéré. L'expérience utilise un nombre fixe de 3 clients, chacun représentant un point d'enquête. Dix-sept niveaux d'hétérogénéité (0-16) sont conçus pour simuler des scénarios de distribution de données allant de complètement homogène à extrêmement hétérogène. La stratégie d'allocation des données assigne un client cible à chaque catégorie d'espèce. Par exemple, 'zhaoshui' est assigné au client 2, 'xiaotuan' au client 0, et 'nizi' au client 1. Le niveau d'hétérogénéité 0 représente une distribution complètement uniforme, où chaque catégorie d'espèce représente environ 33% dans chacun des trois clients. Les niveaux d'hétérogénéité 1-6 indiquent que la proportion de la catégorie cible dans le client cible augmente progressivement de 43% à 90%, les échantillons restants étant répartis uniformément entre les deux autres clients. Les niveaux d'hétérogénéité 7-15 indiquent que la proportion de la catégorie cible dans le client cible augmente progressivement de 91% à 99%, où seulement 8 à 10 échantillons des deux autres espèces restent dans chaque client en plus de l'espèce principale. Le niveau d'hétérogénéité 16 représente une hétérogénéité complète, où la catégorie cible représente 100% dans le client cible et 0% dans les deux autres clients. La catégorie 'bruit' reste uniformément répartie sur tous les niveaux d'hétérogénéité. Les résultats d'évaluation pour chaque niveau d'hétérogénéité sur un ensemble de test indépendant sont présentés dans le tableau.
Illustrations associées
![Veuillez générer un schéma bloc clair illustrant l'architecture du modèle de réseau neuronal suivant : Nom du modèle : SAT-MoE. Le côté gauche comporte deux blocs d'entrée : 1) Caractéristiques du processus `opes` avec la forme [batch, num_opes, in_size_ope] ; 2) Caractéristiques de la machine `mas` avec la forme [batch, num_mas, in_size_ma]. Appliquer d'abord deux projections linéaires pour obtenir des représentations cachées de la même dimension, puis ajouter des embeddings de type (type de processus = 0, type de machine = 1), et ajouter en plus un encodage positionnel à la séquence de processus. Appliquer ensuite LayerNorm aux deux chemins séparément, puis les concaténer le long de la dimension de la séquence en une longue séquence, qui est introduite dans un encodeur Transformer empilé (auto-attention, attention multi-tête, réseau feed-forward). Un module Mixture-of-Experts (MoE) peut être connecté au milieu : un réseau de gating produit des poids pour plusieurs experts MLP, et les sorties d'experts pour chaque token sont pondérées et additionnées, suivies d'une connexion résiduelle et de LayerNorm. La sortie du Transformer est ensuite divisée en deux chemins selon le nombre original de processus et de machines : représentation du processus et représentation de la machine. Ensuite, les faire passer séquentiellement à travers deux couches d'attention croisée : La première attention "Processus → Machine" : les caractéristiques du processus servent de Query, et les caractéristiques de la machine servent de Key/Value, pour obtenir la représentation du processus mise à jour ; La deuxième attention "Machine → Processus" : les caractéristiques de la machine servent de Query, et les caractéristiques du processus servent de Key/Value, pour obtenir la représentation de la machine mise à jour. Les sorties finales sont les caractéristiques du processus mises à jour `out_opes` et les caractéristiques de la machine mises à jour `out_mas`. Veuillez utiliser une disposition de flux de données de gauche à droite, connecter les modules avec des flèches, étiqueter le nom de chaque module (tel que Projection d'entrée, Embedding de type, Encodage positionnel, Encodeur Transformer, MoE, Attention Ope-vers-Machine, Attention Machine-vers-Ope, etc.), et rendre le style du diagramme concis et adapté à une présentation dans un article.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)