Descripción del prompt
Este experimento tiene como objetivo investigar el impacto de la heterogeneidad en la distribución de datos sobre el rendimiento de los algoritmos de aprendizaje federado. El experimento utiliza un número fijo de 3 clientes, cada uno representando un punto de muestreo. Se diseñan diecisiete niveles de heterogeneidad (0-16) para simular escenarios de distribución de datos que van desde completamente homogéneos hasta extremadamente heterogéneos. La estrategia de asignación de datos asigna un cliente objetivo a cada categoría de especie. Por ejemplo, 'zhaoshui' se asigna al cliente 2, 'xiaotuan' al cliente 0 y 'nizi' al cliente 1. El nivel de heterogeneidad 0 representa una distribución completamente uniforme, con cada categoría de especie representando aproximadamente el 33% en cada uno de los tres clientes. Los niveles de heterogeneidad 1-6 indican que la proporción de la categoría objetivo en el cliente objetivo aumenta gradualmente del 43% al 90%, con las muestras restantes distribuidas uniformemente a los otros dos clientes. Los niveles de heterogeneidad 7-15 indican que la proporción de la categoría objetivo en el cliente objetivo aumenta gradualmente del 91% al 99%, donde solo quedan 8-10 muestras de las otras dos especies en cada cliente además de la especie principal. El nivel de heterogeneidad 16 representa una heterogeneidad completa, con la categoría objetivo representando el 100% en el cliente objetivo y el 0% en los otros dos clientes. La categoría 'ruido' permanece distribuida uniformemente en todos los niveles de heterogeneidad. Los resultados de la evaluación para cada nivel de heterogeneidad en un conjunto de prueba independiente se muestran en la tabla.
Ilustraciones relacionadas
![Por favor, genera un diagrama de bloques claro que ilustre la arquitectura del siguiente modelo de red neuronal: Nombre del modelo: SAT-MoE. El lado izquierdo tiene dos bloques de entrada: 1) Características del proceso `opes` con forma [batch, num_opes, in_size_ope]; 2) Características de la máquina `mas` con forma [batch, num_mas, in_size_ma]. Primero, aplica dos proyecciones lineales para obtener representaciones ocultas de la misma dimensión, luego agrega incrustaciones de tipo (tipo de proceso = 0, tipo de máquina = 1), y adicionalmente agrega codificación posicional a la secuencia del proceso. Posteriormente, aplica LayerNorm a ambos caminos por separado, y luego concaténalos a lo largo de la dimensión de la secuencia en una secuencia larga, que se introduce en un codificador Transformer apilado (auto-atención, atención multi-cabeza, red feed-forward). Se puede conectar un módulo de Mixture-of-Experts (MoE) en el medio: una red de gating genera pesos para múltiples expertos MLP, y las salidas de los expertos para cada token se ponderan y se suman, seguido de una conexión residual y LayerNorm. La salida del Transformer se divide nuevamente en dos caminos de acuerdo con el número original de procesos y máquinas: representación del proceso y representación de la máquina. Luego, pásalos a través de dos capas de atención cruzada secuencialmente: La primera atención "Proceso → Máquina": las características del proceso sirven como Query, y las características de la máquina sirven como Key/Value, para obtener la representación del proceso actualizada; La segunda atención "Máquina → Proceso": las características de la máquina sirven como Query, y las características del proceso sirven como Key/Value, para obtener la representación de la máquina actualizada. Las salidas finales son las características del proceso actualizadas `out_opes` y las características de la máquina `out_mas`. Por favor, utiliza un diseño de flujo de datos de izquierda a derecha, conecta los módulos con flechas, etiqueta el nombre de cada módulo (como Proyección de Entrada, Incrustación de Tipo, Codificación Posicional, Codificador Transformer, MoE, Atención Ope-a-Máquina, Atención Máquina-a-Ope, etc.), y haz que el estilo del diagrama sea conciso y adecuado para la presentación en un artículo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)