Descrizione del prompt
Questo esperimento mira a investigare l'impatto dell'eterogeneità della distribuzione dei dati sulle prestazioni degli algoritmi di federated learning. L'esperimento utilizza un numero fisso di 3 client, ciascuno rappresentante un punto di rilevamento. Sono progettati diciassette livelli di eterogeneità (0-16) per simulare scenari di distribuzione dei dati che vanno da completamente omogenei a estremamente eterogenei. La strategia di allocazione dei dati assegna un client target a ciascuna categoria di specie. Ad esempio, 'zhaoshui' è assegnato al client 2, 'xiaotuan' al client 0 e 'nizi' al client 1. Il livello di eterogeneità 0 rappresenta una distribuzione completamente uniforme, con ciascuna categoria di specie che rappresenta circa il 33% in ciascuno dei tre client. I livelli di eterogeneità 1-6 indicano che la proporzione della categoria target nel client target aumenta gradualmente dal 43% al 90%, con i restanti campioni distribuiti uniformemente agli altri due client. I livelli di eterogeneità 7-15 indicano che la proporzione della categoria target nel client target aumenta gradualmente dal 91% al 99%, dove rimangono solo 8-10 campioni delle altre due specie in ciascun client oltre alla specie principale. Il livello di eterogeneità 16 rappresenta un'eterogeneità completa, con la categoria target che rappresenta il 100% nel client target e lo 0% negli altri due client. La categoria 'noise' rimane distribuita uniformemente su tutti i livelli di eterogeneità. I risultati della valutazione per ciascun livello di eterogeneità su un set di test indipendente sono mostrati nella tabella.
Illustrazioni correlate
![Genera un diagramma a blocchi chiaro che illustri l'architettura del seguente modello di rete neurale: Nome del modello: SAT-MoE. Il lato sinistro ha due blocchi di input: 1) Feature di processo `opes` con shape [batch, num_opes, in_size_ope]; 2) Feature di macchina `mas` con shape [batch, num_mas, in_size_ma]. Innanzitutto, applica due proiezioni lineari per ottenere rappresentazioni nascoste della stessa dimensione, quindi aggiungi embedding di tipo (tipo processo = 0, tipo macchina = 1) e, inoltre, aggiungi codifica posizionale alla sequenza di processo. Successivamente, applica LayerNorm a entrambi i percorsi separatamente, e poi concatenali lungo la dimensione della sequenza in una sequenza lunga, che viene alimentata a un Transformer Encoder impilato (self-attention, multi-head attention, feed-forward network). Un modulo Mixture-of-Experts (MoE) può essere collegato nel mezzo: una rete di gating produce pesi per molteplici esperti MLP, e gli output degli esperti per ogni token sono pesati e sommati, seguiti da una connessione residua e LayerNorm. L'output del Transformer viene quindi suddiviso nuovamente in due percorsi in base al numero originale di processi e macchine: rappresentazione del processo e rappresentazione della macchina. Quindi, falli passare attraverso due layer di cross-attention in sequenza: La prima attenzione "Processo → Macchina": le feature di processo fungono da Query e le feature di macchina fungono da Key/Value, per ottenere la rappresentazione del processo aggiornata; La seconda attenzione "Macchina → Processo": le feature di macchina fungono da Query e le feature di processo fungono da Key/Value, per ottenere la rappresentazione della macchina aggiornata. Gli output finali sono le feature di processo aggiornate `out_opes` e le feature di macchina `out_mas`. Utilizza un layout di flusso di dati da sinistra a destra, collega i moduli con frecce, etichetta il nome di ciascun modulo (come Proiezione di Input, Embedding di Tipo, Codifica Posizionale, Transformer Encoder, MoE, Attenzione Ope-to-Machine, Attenzione Machine-to-Ope, ecc.) e rendi lo stile del diagramma conciso e adatto alla presentazione in un articolo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)