Описание промпта
Этот эксперимент направлен на исследование влияния неоднородности распределения данных на производительность алгоритмов федеративного обучения. В эксперименте используется фиксированное количество клиентов – 3, каждый из которых представляет собой точку опроса. Разработано семнадцать уровней неоднородности (0-16) для имитации сценариев распределения данных, варьирующихся от полностью однородных до крайне неоднородных. Стратегия распределения данных назначает целевого клиента для каждой категории видов. Например, 'zhaoshui' назначается клиенту 2, 'xiaotuan' – клиенту 0, а 'nizi' – клиенту 1. Уровень неоднородности 0 представляет собой полностью равномерное распределение, при котором каждая категория видов составляет примерно 33% у каждого из трех клиентов. Уровни неоднородности 1-6 указывают на то, что доля целевой категории у целевого клиента постепенно увеличивается с 43% до 90%, при этом оставшиеся образцы равномерно распределяются между двумя другими клиентами. Уровни неоднородности 7-15 указывают на то, что доля целевой категории у целевого клиента постепенно увеличивается с 91% до 99%, при этом у каждого клиента, помимо основного вида, остается только 8-10 образцов двух других видов. Уровень неоднородности 16 представляет собой полную неоднородность, при которой целевая категория составляет 100% у целевого клиента и 0% у двух других клиентов. Категория 'noise' остается равномерно распределенной на всех уровнях неоднородности. Результаты оценки для каждого уровня неоднородности на независимом тестовом наборе представлены в таблице.
Похожие иллюстрации
![Пожалуйста, создайте четкую блок-схему, иллюстрирующую архитектуру следующей модели нейронной сети: Название модели: SAT-MoE. С левой стороны расположены два входных блока: 1) Признаки процессов `opes` с формой [batch, num_opes, in_size_ope]; 2) Признаки машин `mas` с формой [batch, num_mas, in_size_ma]. Сначала примените две линейные проекции для получения скрытых представлений одинаковой размерности, затем добавьте эмбеддинги типов (тип процесса = 0, тип машины = 1) и дополнительно добавьте позиционное кодирование к последовательности процессов. Впоследствии примените LayerNorm к обоим путям раздельно, а затем объедините их вдоль размерности последовательности в длинную последовательность, которая подается в многослойный Transformer Encoder (само-внимание, многоголовое внимание, сеть прямого распространения). Модуль Mixture-of-Experts (MoE) может быть подключен посередине: сеть стробирования выдает веса для нескольких MLP-экспертов, а выходы экспертов для каждого токена взвешиваются и суммируются, за которыми следуют остаточное соединение и LayerNorm. Затем выход Transformer разделяется обратно на два пути в соответствии с исходным количеством процессов и машин: представление процесса и представление машины. Затем пропустите их через два слоя перекрестного внимания последовательно: Первое внимание "Процесс → Машина": признаки процесса служат в качестве Query, а признаки машины служат в качестве Key/Value, чтобы получить обновленное представление процесса; Второе внимание "Машина → Процесс": признаки машины служат в качестве Query, а признаки процесса служат в качестве Key/Value, чтобы получить обновленное представление машины. Конечными выходами являются обновленные признаки процесса `out_opes` и признаки машины `out_mas`. Пожалуйста, используйте макет потока данных слева направо, соедините модули стрелками, подпишите название каждого модуля (например, Input Projection, Type Embedding, Positional Encoding, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention и т. д.) и сделайте стиль диаграммы лаконичным и подходящим для презентации в статье.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)