Um diagrama esquemático em formato 16:9 com fundo branco, no estilo de esquemas comuns de artigos científicos (SCI). O fluxo de informação é da esquerda para a direita, dividido em três faixas funcionais horizontais: a camada semântica, a camada de representação intermediária e a camada acústica. A camada semântica e o módulo T2U estão localizados no centro do diagrama, com seu tamanho e peso visual significativamente maiores do que outros módulos, enfatizando sua importância no modelo. ──────────────────────── Camada Semântica (Superior, Componente Central) Módulo Central: "Chinese BERT Encoder + Adapter + LoRA" Descrição Interna do Texto (Acadêmica, Concisa): Entrada: Sequência de texto chinês X Saída: Representação semântica com reconhecimento de contexto H′ Ajuste fino com eficiência de parâmetros usando Adapter e LoRA. Destaques do Design Visual: O módulo tem uma borda ligeiramente mais espessa e uma área maior, enfatizando seu papel como o núcleo da modelagem semântica. O módulo se concentra exclusivamente em representações semânticas abstratas, sem envolver fonemas, pronúncia ou texto da língua alvo. Conexões (Chave): Uma única seta sólida se origina deste módulo, apontando diretamente para o módulo T2U abaixo, rotulada como: "Representação Semântica → Espaço de Predição de Unidade de Fala Discreta" Representando o fluxo de informação primário durante a inferência. ──────────────────────── Módulo T2U (Hub Central entre as Camadas Semântica e Acústica, Centro Visual) Nome do Módulo: "T2U: Mapeamento Texto-para-Unidade & Duração" Descrição do Posicionamento do Módulo (Texto pequeno ou anotação dentro do módulo): "Interface intermediária conectando o espaço semântico e o espaço da fala" Descrição Funcional (Não dividido em sub-módulos, expresso em texto): Entrada: Representação semântica H′ Saída 1: Sequência de unidade de fala discreta Ũ Saída 2: Sequência de duração da unidade de fala D̂ Significado da Modelagem (Estilo SCI): O módulo T2U aprende um mapeamento estável do espaço semântico chinês para um espaço de unidade de fala discreta agnóstico à linguagem, sem depender do texto da língua alvo ou de regras fonéticas manuais durante a inferência. Conexões (Foco em responder "Qual é a conexão intermediária?"): 1) Seta Sólida para Baixo → Camada Acústica (indicando o uso da unidade e duração previstas durante a inferência) 2) Seta Tracejada Cinza da Camada de Representação Intermediária → T2U (indicando o sinal de supervisão durante o treinamento) ──────────────────────── Camada de Representação Intermediária (Meio, Auxiliar, mas Crítica) Cadeia de Módulos (Arranjo Horizontal): "Fala Bruta → HuBERT (Codificação de Fala Auto-Supervisionada) → Agrupamento k-means → Unidades de Fala Discretas + Alinhamento Temporal" Descrição do Posicionamento Funcional (Anotação): Esta camada é usada apenas durante o treinamento.
Com base na estrutura de pesquisa da Fundação Nacional de Ci...
![Por favor, gere um diagrama de blocos claro ilustrando a arquitetura do seguinte modelo de rede neural: Nome do Modelo: SAT-MoE. O lado esquerdo tem dois blocos de entrada: 1) Características do processo `opes` com formato [batch, num_opes, in_size_ope]; 2) Características da máquina `mas` com formato [batch, num_mas, in_size_ma]. Primeiro, aplique duas projeções lineares para obter representações ocultas da mesma dimensão, depois adicione embeddings de tipo (tipo de processo = 0, tipo de máquina = 1) e, adicionalmente, adicione codificação posicional à sequência do processo. Subsequentemente, aplique LayerNorm a ambos os caminhos separadamente e, em seguida, concatene-os ao longo da dimensão da sequência em uma sequência longa, que é alimentada em um Transformer Encoder empilhado (auto-atenção, atenção multi-cabeça, rede feed-forward). Um módulo Mixture-of-Experts (MoE) pode ser conectado no meio: uma rede de gating produz pesos para múltiplos experts MLP, e as saídas dos experts para cada token são ponderadas e somadas, seguidas por uma conexão residual e LayerNorm. A saída do Transformer é então dividida de volta em dois caminhos de acordo com o número original de processos e máquinas: representação do processo e representação da máquina. Em seguida, passe-os através de duas camadas de atenção cruzada sequencialmente: A primeira atenção "Processo → Máquina": as características do processo servem como Query, e as características da máquina servem como Key/Value, para obter a representação do processo atualizada; A segunda atenção "Máquina → Processo": as características da máquina servem como Query, e as características do processo servem como Key/Value, para obter a representação da máquina atualizada. As saídas finais são as características do processo atualizadas `out_opes` e as características da máquina `out_mas`. Por favor, use um layout de fluxo de dados da esquerda para a direita, conecte os módulos com setas, rotule o nome de cada módulo (como Projeção de Entrada, Embedding de Tipo, Codificação Posicional, Transformer Encoder, MoE, Atenção Ope-para-Máquina, Atenção Máquina-para-Ope, etc.) e torne o estilo do diagrama conciso e adequado para apresentação em artigos.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)