![Por favor, gere um diagrama de blocos claro ilustrando a arquitetura do seguinte modelo de rede neural: Nome do Modelo: SAT-MoE. O lado esquerdo tem dois blocos de entrada: 1) Características do processo `opes` com formato [batch, num_opes, in_size_ope]; 2) Características da máquina `mas` com formato [batch, num_mas, in_size_ma]. Primeiro, aplique duas projeções lineares para obter representações ocultas da mesma dimensão, depois adicione embeddings de tipo (tipo de processo = 0, tipo de máquina = 1) e, adicionalmente, adicione codificação posicional à sequência do processo. Subsequentemente, aplique LayerNorm a ambos os caminhos separadamente e, em seguida, concatene-os ao longo da dimensão da sequência em uma sequência longa, que é alimentada em um Transformer Encoder empilhado (auto-atenção, atenção multi-cabeça, rede feed-forward). Um módulo Mixture-of-Experts (MoE) pode ser conectado no meio: uma rede de gating produz pesos para múltiplos experts MLP, e as saídas dos experts para cada token são ponderadas e somadas, seguidas por uma conexão residual e LayerNorm. A saída do Transformer é então dividida de volta em dois caminhos de acordo com o número original de processos e máquinas: representação do processo e representação da máquina. Em seguida, passe-os através de duas camadas de atenção cruzada sequencialmente: A primeira atenção "Processo → Máquina": as características do processo servem como Query, e as características da máquina servem como Key/Value, para obter a representação do processo atualizada; A segunda atenção "Máquina → Processo": as características da máquina servem como Query, e as características do processo servem como Key/Value, para obter a representação da máquina atualizada. As saídas finais são as características do processo atualizadas `out_opes` e as características da máquina `out_mas`. Por favor, use um layout de fluxo de dados da esquerda para a direita, conecte os módulos com setas, rotule o nome de cada módulo (como Projeção de Entrada, Embedding de Tipo, Codificação Posicional, Transformer Encoder, MoE, Atenção Ope-para-Máquina, Atenção Máquina-para-Ope, etc.) e torne o estilo do diagrama conciso e adequado para apresentação em artigos.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
Ilustrações Relacionadas
Por favor, gere um diagrama de blocos claro ilustrando a arquitetura do seguinte modelo de rede neural: Nome do Modelo: SAT-MoE. O lado esquerdo tem dois blocos de entrada: 1) Características do processo `opes` com formato [batch, num_opes, in_size_ope]; 2) Características da máquina `mas` com formato [batch, num_mas, in_size_ma]. Primeiro, aplique duas projeções lineares para obter representações ocultas da mesma dimensão, depois adicione embeddings de tipo (tipo de processo = 0, tipo de máquina = 1) e, adicionalmente, adicione codificação posicional à sequência do processo. Subsequentemente, aplique LayerNorm a ambos os caminhos separadamente e, em seguida, concatene-os ao longo da dimensão da sequência em uma sequência longa, que é alimentada em um Transformer Encoder empilhado (auto-atenção, atenção multi-cabeça, rede feed-forward). Um módulo Mixture-of-Experts (MoE) pode ser conectado no meio: uma rede de gating produz pesos para múltiplos experts MLP, e as saídas dos experts para cada token são ponderadas e somadas, seguidas por uma conexão residual e LayerNorm. A saída do Transformer é então dividida de volta em dois caminhos de acordo com o número original de processos e máquinas: representação do processo e representação da máquina. Em seguida, passe-os através de duas camadas de atenção cruzada sequencialmente: A primeira atenção "Processo → Máquina": as características do processo servem como Query, e as características da máquina servem como Key/Value, para obter a representação do processo atualizada; A segunda atenção "Máquina → Processo": as características da máquina servem como Query, e as características do processo servem como Key/Value, para obter a representação da máquina atualizada. As saídas finais são as características do processo atualizadas `out_opes` e as características da máquina `out_mas`. Por favor, use um layout de fluxo de dados da esquerda para a direita, conecte os módulos com setas, rotule o nome de cada módulo (como Projeção de Entrada, Embedding de Tipo, Codificação Posicional, Transformer Encoder, MoE, Atenção Ope-para-Máquina, Atenção Máquina-para-Ope, etc.) e torne o estilo do diagrama conciso e adequado para apresentação em artigos.
Este diagrama ilustra a diferença entre a geração de prompts...
![O núcleo de cada iteração reside na geração de indivíduos descendentes que satisfazem as restrições e na conclusão da avaliação de aptidão de toda a população. Isso fornece uma base completa para selecionar a nova geração da população. Esta etapa é dividida em três subetapas: geração de descendentes por crossover, geração de descendentes por mutação adaptativa e fusão da população e avaliação em lote. Na geração de descendentes por crossover, o tamanho da prole é definido como 10.000 para garantir a eficiência da iteração e atualização da população. A estratégia de seleção por torneio é usada para a seleção dos pais, selecionando dois indivíduos pais com melhor aptidão da população atual para melhorar a qualidade geral da prole. Ao mesmo tempo, a lógica do crossover deve atender às condições de restrição. As etapas específicas são separar o valor absoluto e o sinal dos parâmetros dos pais para evitar destruir as condições de restrição durante o processo de crossover; realizar crossover de interpolação linear nos valores absolutos (α∈[0,1] é selecionado aleatoriamente) para gerar o valor absoluto dos parâmetros da prole; realizar clipping não negativo nos valores absolutos cruzados e, em seguida, normalizá-los para garantir que a soma dos valores absolutos seja 1; herdar aleatoriamente os sinais dos parâmetros dos pais e reconstruir o vetor de parâmetros completo da prole. Na geração de descendentes por mutação adaptativa, o tamanho da prole de mutação é definido como 1.000 para equilibrar a diversidade da população e a eficiência computacional. O pai é selecionado da população atual por meio de seleção por torneio para selecionar um indivíduo pai de alta qualidade e cloná-lo como um modelo de mutação. Ao mesmo tempo, a intensidade da mutação decai dinamicamente de 0,05 para 0,005 com o número de iterações, levando em consideração a exploração inicial e o refinamento tardio. Clipping não negativo e normalização são realizados nos valores absolutos mutados para garantir que as condições de restrição sejam atendidas. Finalmente, o sinal do parâmetro é invertido aleatoriamente com uma probabilidade de 10% para aumentar ainda mais a capacidade de exploração da população. Na fusão da população e avaliação em lote, a população atual (10.000), a prole de crossover (10.000) e a prole de mutação (1.000) são fundidas em uma população completa temporária (21.000). Indivíduos com aptidão inválida na população temporária são extraídos, e o cálculo abrangente ponderado em lote do erro é realizado nos indivíduos inválidos, e atribuído como valores de aptidão para completar a atualização da aptidão da população completa. A aptidão mínima (erro mínimo) e a aptidão média (erro médio) da geração atual são registradas para fornecer suporte de dados para o monitoramento da iteração.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
