Эта диаграмма иллюстрирует разницу между статичной и динамичной генерацией промптов в области компьютерных наук. Примеры на изображении следующие: 1. Пример статичного промпта (Сценарий задачи многошагового ответа на вопросы): Для задачи многошагового ответа на вопросы по знаниям "Кратко опишите основные различия и историческое влияние системы императорских экзаменов династии Тан по сравнению с системой императорских экзаменов династии Сун" статический промпт использует вручную заданный фиксированный шаблон. Содержание: "Пожалуйста, ответьте на следующий вопрос: {вопрос}. Пожалуйста, подробно изложите по пунктам и используйте лаконичный язык." Этот шаблон промпта не различает глубину исторических знаний, задействованных в вопросе, или сложность этапов рассуждения (этот вопрос требует как минимум двух этапов рассуждения: сначала выделить основное содержание системы императорских экзаменов династий Тан/Сун, затем сравнить различия и проанализировать влияние). Он также не адаптируется к уровню возможностей используемой большой языковой модели (например, он не дополняет объяснения основных понятий для моделей базового уровня и не добавляет углубленное руководство по анализу для продвинутых моделей). Он всегда воздействует на модель с единым выражением, что может легко привести к тому, что базовые модели не смогут завершить рассуждения из-за отсутствия концептуальной основы, а продвинутые модели будут выдавать поверхностный контент из-за недостаточного руководства. 2. Пример динамичного промпта (Тот же сценарий задачи многошагового ответа на вопросы): Для того же вопроса, что и выше, процесс динамической генерации промпта должен пройти через четыре адаптивных этапа: "анализ задачи - извлечение знаний - адаптация модели - генерация промпта". Во-первых, модуль анализа задачи определяет, что вопрос относится к задаче многошагового рассуждения в области истории, требующей логической цепочки из 2-3 шагов. Во-вторых, механизм RAG извлекает основные знания о системе императорских экзаменов династии Тан (например, статус предмета Цзиньши и нереализация системы анонимности) и системе императорских экзаменов династии Сун (например, реализация системы анонимной транскрипции и институционализация дворцового экзамена). Затем, в сочетании с характеристиками используемой модели (предположим, что это модель среднего уровня), определяется, что необходимо дополнить переходы основных понятий, но чрезмерное упрощение не требуется. Наконец, генерируется динамический промпт: "Пожалуйста, завершите анализ вопроса на основе следующих исторических знаний и ответьте в три этапа рассуждения: 1. Сначала уточните основные характеристики системы императорских экзаменов династии Тан (ссылка: предмет Цзиньши как ядро, отсутствие системы анонимности, небольшое количество принятых); 2. Затем выделите ключевые изменения в системе императорских экзаменов династии Сун (ссылка: реализация системы анонимной транскрипции, нормализация дворцового экзамена, расширение масштаба приема); 3. Сравните основные различия между ними и подробно опишите их историческое влияние на мобильность социальных классов и построение бюрократической системы в то время. Вопрос: Кратко опишите основные различия и историческое влияние системы императорских экзаменов династии Тан по сравнению с системой императорских экзаменов династии Сун." Этот промпт может динамически корректировать выражение и логику руководства рассуждениями в соответствии со сложностью вопроса, извлеченными деталями знаний и возможностями модели.
Пожалуйста, создайте четкую блок-схему, иллюстрирующую архит...
![Пожалуйста, создайте четкую блок-схему, иллюстрирующую архитектуру следующей модели нейронной сети: Название модели: SAT-MoE. С левой стороны расположены два входных блока: 1) Признаки процессов `opes` с формой [batch, num_opes, in_size_ope]; 2) Признаки машин `mas` с формой [batch, num_mas, in_size_ma]. Сначала примените две линейные проекции для получения скрытых представлений одинаковой размерности, затем добавьте эмбеддинги типов (тип процесса = 0, тип машины = 1) и дополнительно добавьте позиционное кодирование к последовательности процессов. Впоследствии примените LayerNorm к обоим путям раздельно, а затем объедините их вдоль размерности последовательности в длинную последовательность, которая подается в многослойный Transformer Encoder (само-внимание, многоголовое внимание, сеть прямого распространения). Модуль Mixture-of-Experts (MoE) может быть подключен посередине: сеть стробирования выдает веса для нескольких MLP-экспертов, а выходы экспертов для каждого токена взвешиваются и суммируются, за которыми следуют остаточное соединение и LayerNorm. Затем выход Transformer разделяется обратно на два пути в соответствии с исходным количеством процессов и машин: представление процесса и представление машины. Затем пропустите их через два слоя перекрестного внимания последовательно: Первое внимание "Процесс → Машина": признаки процесса служат в качестве Query, а признаки машины служат в качестве Key/Value, чтобы получить обновленное представление процесса; Второе внимание "Машина → Процесс": признаки машины служат в качестве Query, а признаки процесса служат в качестве Key/Value, чтобы получить обновленное представление машины. Конечными выходами являются обновленные признаки процесса `out_opes` и признаки машины `out_mas`. Пожалуйста, используйте макет потока данных слева направо, соедините модули стрелками, подпишите название каждого модуля (например, Input Projection, Type Embedding, Positional Encoding, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention и т. д.) и сделайте стиль диаграммы лаконичным и подходящим для презентации в статье.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![Ядро каждой итерации заключается в генерации потомков, удовлетворяющих ограничениям, и завершении оценки пригодности всей популяции. Это обеспечивает полную основу для отбора нового поколения популяции. Этот этап разделен на три подэтапа: генерация потомков кроссовера, генерация адаптивно мутировавших потомков, а также слияние популяции и пакетная оценка. В генерации потомков кроссовера размер потомства установлен на 10 000, чтобы обеспечить эффективность итерации и обновления популяции. Стратегия турнирного отбора используется для отбора родителей, выбирая двух родительских особей с лучшей пригодностью из текущей популяции, чтобы улучшить общее качество потомства. В то же время логика кроссовера должна соответствовать условиям ограничений. Конкретные шаги заключаются в разделении абсолютного значения и знака параметров родителя, чтобы избежать разрушения условий ограничений в процессе кроссовера; выполнении линейной интерполяции кроссовера на абсолютных значениях (α∈[0,1] выбирается случайным образом) для генерации абсолютного значения параметров потомства; выполнении неотрицательного отсечения на скрещенных абсолютных значениях, а затем их нормализации, чтобы гарантировать, что сумма абсолютных значений равна 1; случайном наследовании знаков параметров родителя и реконструкции полного вектора параметров потомства. В генерации адаптивно мутировавших потомков размер потомства мутации установлен на 1000, чтобы сбалансировать разнообразие популяции и вычислительную эффективность. Родитель выбирается из текущей популяции посредством турнирного отбора, чтобы выбрать высококачественную родительскую особь и клонировать ее в качестве шаблона мутации. В то же время интенсивность мутации динамически убывает от 0,05 до 0,005 с увеличением числа итераций, учитывая раннее исследование и позднее уточнение. Неотрицательное отсечение и нормализация выполняются на мутировавших абсолютных значениях, чтобы гарантировать, что условия ограничений соблюдены. Наконец, знак параметра случайным образом переворачивается с вероятностью 10%, чтобы еще больше повысить способность популяции к исследованию. В слиянии популяции и пакетной оценке текущая популяция (10 000), потомство кроссовера (10 000) и потомство мутации (1 000) объединяются во временную полную популяцию (21 000). Особи с недействительной пригодностью во временной популяции извлекаются, и выполняется пакетный взвешенный комплексный расчет ошибки для недействительных особей, и присваивается в качестве значений пригодности для завершения обновления пригодности полной популяции. Минимальная пригодность (минимальная ошибка) и средняя пригодность (средняя ошибка) текущего поколения записываются для обеспечения поддержки данных для мониторинга итераций.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)