Descrição do Prompt
Este experimento tem como objetivo investigar o impacto da heterogeneidade da distribuição de dados no desempenho de algoritmos de aprendizado federado. O experimento utiliza um número fixo de 3 clientes, cada um representando um ponto de coleta de dados. Dezessete níveis de heterogeneidade (0-16) são projetados para simular cenários de distribuição de dados que variam de completamente homogêneos a extremamente heterogêneos. A estratégia de alocação de dados atribui um cliente alvo a cada categoria de espécie. Por exemplo, 'zhaoshui' é atribuído ao cliente 2, 'xiaotuan' ao cliente 0 e 'nizi' ao cliente 1. O nível de heterogeneidade 0 representa uma distribuição completamente uniforme, com cada categoria de espécie representando aproximadamente 33% em cada um dos três clientes. Os níveis de heterogeneidade 1-6 indicam que a proporção da categoria alvo no cliente alvo aumenta gradualmente de 43% para 90%, com as amostras restantes distribuídas uniformemente para os outros dois clientes. Os níveis de heterogeneidade 7-15 indicam que a proporção da categoria alvo no cliente alvo aumenta gradualmente de 91% para 99%, onde apenas 8-10 amostras das outras duas espécies permanecem em cada cliente, além da espécie principal. O nível de heterogeneidade 16 representa heterogeneidade completa, com a categoria alvo representando 100% no cliente alvo e 0% nos outros dois clientes. A categoria 'ruído' permanece distribuída uniformemente em todos os níveis de heterogeneidade. Os resultados da avaliação para cada nível de heterogeneidade em um conjunto de teste independente são mostrados na tabela.
Ilustrações Relacionadas
![Por favor, gere um diagrama de blocos claro ilustrando a arquitetura do seguinte modelo de rede neural: Nome do Modelo: SAT-MoE. O lado esquerdo tem dois blocos de entrada: 1) Características do processo `opes` com formato [batch, num_opes, in_size_ope]; 2) Características da máquina `mas` com formato [batch, num_mas, in_size_ma]. Primeiro, aplique duas projeções lineares para obter representações ocultas da mesma dimensão, depois adicione embeddings de tipo (tipo de processo = 0, tipo de máquina = 1) e, adicionalmente, adicione codificação posicional à sequência do processo. Subsequentemente, aplique LayerNorm a ambos os caminhos separadamente e, em seguida, concatene-os ao longo da dimensão da sequência em uma sequência longa, que é alimentada em um Transformer Encoder empilhado (auto-atenção, atenção multi-cabeça, rede feed-forward). Um módulo Mixture-of-Experts (MoE) pode ser conectado no meio: uma rede de gating produz pesos para múltiplos experts MLP, e as saídas dos experts para cada token são ponderadas e somadas, seguidas por uma conexão residual e LayerNorm. A saída do Transformer é então dividida de volta em dois caminhos de acordo com o número original de processos e máquinas: representação do processo e representação da máquina. Em seguida, passe-os através de duas camadas de atenção cruzada sequencialmente: A primeira atenção "Processo → Máquina": as características do processo servem como Query, e as características da máquina servem como Key/Value, para obter a representação do processo atualizada; A segunda atenção "Máquina → Processo": as características da máquina servem como Query, e as características do processo servem como Key/Value, para obter a representação da máquina atualizada. As saídas finais são as características do processo atualizadas `out_opes` e as características da máquina `out_mas`. Por favor, use um layout de fluxo de dados da esquerda para a direita, conecte os módulos com setas, rotule o nome de cada módulo (como Projeção de Entrada, Embedding de Tipo, Codificação Posicional, Transformer Encoder, MoE, Atenção Ope-para-Máquina, Atenção Máquina-para-Ope, etc.) e torne o estilo do diagrama conciso e adequado para apresentação em artigos.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)