![Пожалуйста, создайте четкую блок-схему, иллюстрирующую архитектуру следующей модели нейронной сети: Название модели: SAT-MoE. С левой стороны расположены два входных блока: 1) Признаки процессов `opes` с формой [batch, num_opes, in_size_ope]; 2) Признаки машин `mas` с формой [batch, num_mas, in_size_ma]. Сначала примените две линейные проекции для получения скрытых представлений одинаковой размерности, затем добавьте эмбеддинги типов (тип процесса = 0, тип машины = 1) и дополнительно добавьте позиционное кодирование к последовательности процессов. Впоследствии примените LayerNorm к обоим путям раздельно, а затем объедините их вдоль размерности последовательности в длинную последовательность, которая подается в многослойный Transformer Encoder (само-внимание, многоголовое внимание, сеть прямого распространения). Модуль Mixture-of-Experts (MoE) может быть подключен посередине: сеть стробирования выдает веса для нескольких MLP-экспертов, а выходы экспертов для каждого токена взвешиваются и суммируются, за которыми следуют остаточное соединение и LayerNorm. Затем выход Transformer разделяется обратно на два пути в соответствии с исходным количеством процессов и машин: представление процесса и представление машины. Затем пропустите их через два слоя перекрестного внимания последовательно: Первое внимание "Процесс → Машина": признаки процесса служат в качестве Query, а признаки машины служат в качестве Key/Value, чтобы получить обновленное представление процесса; Второе внимание "Машина → Процесс": признаки машины служат в качестве Query, а признаки процесса служат в качестве Key/Value, чтобы получить обновленное представление машины. Конечными выходами являются обновленные признаки процесса `out_opes` и признаки машины `out_mas`. Пожалуйста, используйте макет потока данных слева направо, соедините модули стрелками, подпишите название каждого модуля (например, Input Projection, Type Embedding, Positional Encoding, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention и т. д.) и сделайте стиль диаграммы лаконичным и подходящим для презентации в статье.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
Похожие иллюстрации
Пожалуйста, создайте четкую блок-схему, иллюстрирующую архитектуру следующей модели нейронной сети: Название модели: SAT-MoE. С левой стороны расположены два входных блока: 1) Признаки процессов `opes` с формой [batch, num_opes, in_size_ope]; 2) Признаки машин `mas` с формой [batch, num_mas, in_size_ma]. Сначала примените две линейные проекции для получения скрытых представлений одинаковой размерности, затем добавьте эмбеддинги типов (тип процесса = 0, тип машины = 1) и дополнительно добавьте позиционное кодирование к последовательности процессов. Впоследствии примените LayerNorm к обоим путям раздельно, а затем объедините их вдоль размерности последовательности в длинную последовательность, которая подается в многослойный Transformer Encoder (само-внимание, многоголовое внимание, сеть прямого распространения). Модуль Mixture-of-Experts (MoE) может быть подключен посередине: сеть стробирования выдает веса для нескольких MLP-экспертов, а выходы экспертов для каждого токена взвешиваются и суммируются, за которыми следуют остаточное соединение и LayerNorm. Затем выход Transformer разделяется обратно на два пути в соответствии с исходным количеством процессов и машин: представление процесса и представление машины. Затем пропустите их через два слоя перекрестного внимания последовательно: Первое внимание "Процесс → Машина": признаки процесса служат в качестве Query, а признаки машины служат в качестве Key/Value, чтобы получить обновленное представление процесса; Второе внимание "Машина → Процесс": признаки машины служат в качестве Query, а признаки процесса служат в качестве Key/Value, чтобы получить обновленное представление машины. Конечными выходами являются обновленные признаки процесса `out_opes` и признаки машины `out_mas`. Пожалуйста, используйте макет потока данных слева направо, соедините модули стрелками, подпишите название каждого модуля (например, Input Projection, Type Embedding, Positional Encoding, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention и т. д.) и сделайте стиль диаграммы лаконичным и подходящим для презентации в статье.
Эта диаграмма иллюстрирует разницу между статичной и динамич...
![Ядро каждой итерации заключается в генерации потомков, удовлетворяющих ограничениям, и завершении оценки пригодности всей популяции. Это обеспечивает полную основу для отбора нового поколения популяции. Этот этап разделен на три подэтапа: генерация потомков кроссовера, генерация адаптивно мутировавших потомков, а также слияние популяции и пакетная оценка. В генерации потомков кроссовера размер потомства установлен на 10 000, чтобы обеспечить эффективность итерации и обновления популяции. Стратегия турнирного отбора используется для отбора родителей, выбирая двух родительских особей с лучшей пригодностью из текущей популяции, чтобы улучшить общее качество потомства. В то же время логика кроссовера должна соответствовать условиям ограничений. Конкретные шаги заключаются в разделении абсолютного значения и знака параметров родителя, чтобы избежать разрушения условий ограничений в процессе кроссовера; выполнении линейной интерполяции кроссовера на абсолютных значениях (α∈[0,1] выбирается случайным образом) для генерации абсолютного значения параметров потомства; выполнении неотрицательного отсечения на скрещенных абсолютных значениях, а затем их нормализации, чтобы гарантировать, что сумма абсолютных значений равна 1; случайном наследовании знаков параметров родителя и реконструкции полного вектора параметров потомства. В генерации адаптивно мутировавших потомков размер потомства мутации установлен на 1000, чтобы сбалансировать разнообразие популяции и вычислительную эффективность. Родитель выбирается из текущей популяции посредством турнирного отбора, чтобы выбрать высококачественную родительскую особь и клонировать ее в качестве шаблона мутации. В то же время интенсивность мутации динамически убывает от 0,05 до 0,005 с увеличением числа итераций, учитывая раннее исследование и позднее уточнение. Неотрицательное отсечение и нормализация выполняются на мутировавших абсолютных значениях, чтобы гарантировать, что условия ограничений соблюдены. Наконец, знак параметра случайным образом переворачивается с вероятностью 10%, чтобы еще больше повысить способность популяции к исследованию. В слиянии популяции и пакетной оценке текущая популяция (10 000), потомство кроссовера (10 000) и потомство мутации (1 000) объединяются во временную полную популяцию (21 000). Особи с недействительной пригодностью во временной популяции извлекаются, и выполняется пакетный взвешенный комплексный расчет ошибки для недействительных особей, и присваивается в качестве значений пригодности для завершения обновления пригодности полной популяции. Минимальная пригодность (минимальная ошибка) и средняя пригодность (средняя ошибка) текущего поколения записываются для обеспечения поддержки данных для мониторинга итераций.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
