Prompt-Beschreibung
Dieses Experiment zielt darauf ab, den Einfluss der Heterogenität der Datenverteilung auf die Leistung von Federated Learning Algorithmen zu untersuchen. Das Experiment verwendet eine feste Anzahl von 3 Clients, die jeweils einen Erhebungspunkt darstellen. Siebzehn Heterogenitätsstufen (0-16) sind entworfen, um Datenverteilungsszenarien zu simulieren, die von vollständig homogen bis extrem heterogen reichen. Die Datenzuordnungsstrategie weist jeder Spezieskategorie einen Ziel-Client zu. Zum Beispiel wird 'zhaoshui' Client 2, 'xiaotuan' Client 0 und 'nizi' Client 1 zugewiesen. Heterogenitätsstufe 0 repräsentiert eine vollständig gleichmäßige Verteilung, wobei jede Spezieskategorie in jedem der drei Clients etwa 33% ausmacht. Die Heterogenitätsstufen 1-6 zeigen, dass der Anteil der Zielkategorie im Ziel-Client allmählich von 43% auf 90% ansteigt, wobei die restlichen Stichproben gleichmäßig auf die anderen beiden Clients verteilt werden. Die Heterogenitätsstufen 7-15 zeigen, dass der Anteil der Zielkategorie im Ziel-Client allmählich von 91% auf 99% ansteigt, wobei neben der Hauptspezies nur noch 8-10 Proben der anderen beiden Spezies in jedem Client verbleiben. Heterogenitätsstufe 16 repräsentiert vollständige Heterogenität, wobei die Zielkategorie 100% im Ziel-Client und 0% in den anderen beiden Clients ausmacht. Die Kategorie 'noise' bleibt über alle Heterogenitätsstufen hinweg gleichmäßig verteilt. Die Evaluationsergebnisse für jede Heterogenitätsstufe auf einem unabhängigen Testdatensatz sind in der Tabelle dargestellt.
Ähnliche Illustrationen
![Bitte erstellen Sie ein übersichtliches Blockdiagramm, das die Architektur des folgenden neuronalen Netzwerkmodells veranschaulicht: Modellname: SAT-MoE. Die linke Seite hat zwei Eingangsblöcke: 1) Prozessmerkmale `opes` mit Form [Batch, num_opes, in_size_ope]; 2) Maschinenmerkmale `mas` mit Form [Batch, num_mas, in_size_ma]. Wenden Sie zuerst zwei lineare Projektionen an, um verborgene Repräsentationen derselben Dimension zu erhalten, fügen Sie dann Typ-Einbettungen hinzu (Prozesstyp = 0, Maschinentyp = 1) und zusätzlich eine Positionskodierung zur Prozesssequenz. Wenden Sie anschließend LayerNorm auf beide Pfade separat an und verketten Sie sie dann entlang der Sequenzdimension zu einer langen Sequenz, die in einen gestapelten Transformer Encoder eingespeist wird (Selbstaufmerksamkeit, Multi-Head-Aufmerksamkeit, Feed-Forward-Netzwerk). Ein Mixture-of-Experts (MoE)-Modul kann in der Mitte verbunden werden: ein Gating-Netzwerk gibt Gewichte für mehrere MLP-Experten aus, und die Expertenausgaben für jedes Token werden gewichtet und summiert, gefolgt von einer residualen Verbindung und LayerNorm. Die Transformer-Ausgabe wird dann gemäß der ursprünglichen Anzahl von Prozessen und Maschinen wieder in zwei Pfade aufgeteilt: Prozessrepräsentation und Maschinenrepräsentation. Leiten Sie sie dann nacheinander durch zwei Cross-Attention-Schichten: Die erste "Prozess → Maschine"-Aufmerksamkeit: Prozessmerkmale dienen als Query und Maschinenmerkmale dienen als Key/Value, um die aktualisierte Prozessrepräsentation zu erhalten; Die zweite "Maschine → Prozess"-Aufmerksamkeit: Maschinenmerkmale dienen als Query und Prozessmerkmale dienen als Key/Value, um die aktualisierte Maschinenrepräsentation zu erhalten. Die endgültigen Ausgaben sind die aktualisierten Prozessmerkmale `out_opes` und Maschinenmerkmale `out_mas`. Bitte verwenden Sie ein Links-nach-Rechts-Datenflusslayout, verbinden Sie die Module mit Pfeilen, beschriften Sie den Namen jedes Moduls (wie z. B. Eingabeprojektion, Typ-Einbettung, Positionskodierung, Transformer Encoder, MoE, Ope-zu-Maschine-Aufmerksamkeit, Maschine-zu-Ope-Aufmerksamkeit usw.) und gestalten Sie den Diagrammstil prägnant und geeignet für die Präsentation in wissenschaftlichen Arbeiten.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)