Схематическая диаграмма в формате 16:9 с белым фоном, стилизованная под типичные схемы научных статей (SCI). Поток информации слева направо, разделен на три горизонтальные функциональные полосы: семантический слой, слой промежуточного представления и акустический слой. Семантический слой и модуль T2U расположены в центре диаграммы, их размер и визуальный вес значительно больше, чем у других модулей, что подчеркивает их важность в модели. ──────────────────────── Семантический слой (Верхний, Основной компонент) Основной модуль: "Chinese BERT Encoder + Adapter + LoRA" Внутреннее текстовое описание (Академическое, Краткое): Вход: Китайская текстовая последовательность X Выход: Контекстно-зависимое семантическое представление H′ Параметрически-эффективная донастройка с использованием Adapter и LoRA. Визуальные акценты: Модуль имеет немного более толстую границу и большую площадь, подчеркивая его роль как ядра семантического моделирования. Модуль фокусируется исключительно на абстрактных семантических представлениях, не затрагивая фонемы, произношение или текст целевого языка. Соединения (Ключевые): Одна сплошная стрелка исходит из этого модуля, указывая прямо на модуль T2U ниже, с надписью: "Семантическое представление → Пространство предсказания дискретных речевых единиц" Представляющая основной поток информации во время инференса. ──────────────────────── Модуль T2U (Центральный узел между семантическим и акустическим слоями, Визуальный центр) Название модуля: "T2U: Text-to-Unit & Duration Mapping" (Сопоставление текста с единицами и длительностью) Описание позиционирования модуля (Небольшой текст или аннотация внутри модуля): "Промежуточный интерфейс, соединяющий семантическое пространство и речевое пространство" Функциональное описание (Не разделено на подмодули, выражено текстом): Вход: Семантическое представление H′ Выход 1: Последовательность дискретных речевых единиц Ũ Выход 2: Последовательность длительности речевых единиц D̂ Смысл моделирования (В стиле SCI): Модуль T2U изучает стабильное отображение из китайского семантического пространства в языково-независимое пространство дискретных речевых единиц, не полагаясь на текст целевого языка или ручные фонетические правила во время инференса. Соединения (Сосредоточьтесь на ответе на вопрос "Какова промежуточная связь?"): 1) Вниз Сплошная стрелка → Акустический слой (указывает на использование предсказанной единицы и длительности во время инференса) 2) Серая Пунктирная стрелка из слоя промежуточного представления → T2U (указывает на сигнал обучения с учителем во время обучения) ──────────────────────── Слой промежуточного представления (Средний, Вспомогательный, но Критический) Цепочка модулей (Горизонтальное расположение): "Raw Speech → HuBERT (Самообучающееся кодирование речи) → k-means Clustering → Дискретные речевые единицы + Выравнивание по времени" Описание функционального позиционирования (Аннотация): "Этот слой используется только во время обучения."
Основываясь на исследовательской структуре Государственного ...
![Пожалуйста, создайте четкую блок-схему, иллюстрирующую архитектуру следующей модели нейронной сети: Название модели: SAT-MoE. С левой стороны расположены два входных блока: 1) Признаки процессов `opes` с формой [batch, num_opes, in_size_ope]; 2) Признаки машин `mas` с формой [batch, num_mas, in_size_ma]. Сначала примените две линейные проекции для получения скрытых представлений одинаковой размерности, затем добавьте эмбеддинги типов (тип процесса = 0, тип машины = 1) и дополнительно добавьте позиционное кодирование к последовательности процессов. Впоследствии примените LayerNorm к обоим путям раздельно, а затем объедините их вдоль размерности последовательности в длинную последовательность, которая подается в многослойный Transformer Encoder (само-внимание, многоголовое внимание, сеть прямого распространения). Модуль Mixture-of-Experts (MoE) может быть подключен посередине: сеть стробирования выдает веса для нескольких MLP-экспертов, а выходы экспертов для каждого токена взвешиваются и суммируются, за которыми следуют остаточное соединение и LayerNorm. Затем выход Transformer разделяется обратно на два пути в соответствии с исходным количеством процессов и машин: представление процесса и представление машины. Затем пропустите их через два слоя перекрестного внимания последовательно: Первое внимание "Процесс → Машина": признаки процесса служат в качестве Query, а признаки машины служат в качестве Key/Value, чтобы получить обновленное представление процесса; Второе внимание "Машина → Процесс": признаки машины служат в качестве Query, а признаки процесса служат в качестве Key/Value, чтобы получить обновленное представление машины. Конечными выходами являются обновленные признаки процесса `out_opes` и признаки машины `out_mas`. Пожалуйста, используйте макет потока данных слева направо, соедините модули стрелками, подпишите название каждого модуля (например, Input Projection, Type Embedding, Positional Encoding, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention и т. д.) и сделайте стиль диаграммы лаконичным и подходящим для презентации в статье.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)