Este diagrama ilustra a diferença entre a geração de prompts estáticos e dinâmicos no campo da ciência da computação. Os exemplos na imagem são os seguintes: 1. Exemplo de Prompt Estático (Cenário de Tarefa de Resposta a Perguntas Multi-Hop): Para a tarefa de resposta a perguntas de conhecimento multi-hop "Descreva brevemente as principais diferenças e o impacto histórico do sistema de exames imperiais da Dinastia Tang em comparação com o sistema de exames imperiais da Dinastia Song", o prompt estático usa um modelo fixo predefinido manualmente. O conteúdo é "Por favor, responda à seguinte pergunta: {pergunta}. Por favor, elabore em pontos e use linguagem concisa." Este modelo de prompt não diferencia a profundidade do conhecimento histórico envolvido na pergunta ou a complexidade das etapas de raciocínio (esta pergunta requer pelo menos duas etapas de raciocínio: primeiro, organizar o conteúdo principal do sistema de exames imperiais da Dinastia Tang/Song, depois comparar as diferenças e analisar o impacto). Também não se adapta ao nível de capacidade do modelo de linguagem grande usado (por exemplo, não complementa explicações de conceitos básicos para modelos de nível básico, nem adiciona orientação de análise aprofundada para modelos avançados). Ele sempre atua no modelo com uma expressão unificada, o que pode facilmente levar a modelos básicos incapazes de completar o raciocínio devido à falta de base conceitual, e modelos avançados produzindo conteúdo superficial devido à orientação insuficiente. 2. Exemplo de Prompt Dinâmico (Mesmo Cenário de Tarefa de Resposta a Perguntas Multi-Hop): Para a mesma pergunta acima, o processo de geração de prompt dinâmico precisa passar por quatro estágios adaptativos: "análise da tarefa - recuperação de conhecimento - adaptação do modelo - geração de prompt". Primeiro, o módulo de análise de tarefas identifica que a pergunta pertence a uma tarefa de raciocínio multi-hop no campo da história, exigindo uma cadeia lógica de 2-3 etapas. Em segundo lugar, o mecanismo RAG recupera os principais pontos de conhecimento do sistema de exames imperiais da Dinastia Tang (como o status do assunto Jinshi e a não implementação do sistema de anonimato) e do sistema de exames imperiais da Dinastia Song (como a implementação do sistema de transcrição de anonimato e a institucionalização do exame do palácio). Em seguida, combinado com as características do modelo usado (assumindo que seja um modelo de nível intermediário), determina-se que as transições de conceitos básicos precisam ser complementadas, mas a simplificação excessiva não é necessária. Finalmente, um prompt dinâmico é gerado: "Por favor, complete a análise da pergunta com base no seguinte conhecimento histórico e responda em três etapas de raciocínio: 1. Primeiro, esclareça as características principais do sistema de exames imperiais da Dinastia Tang (referência: assunto Jinshi como o núcleo, sem sistema de anonimato, pequeno número de admissões); 2. Em seguida, organize as principais mudanças no sistema de exames imperiais da Dinastia Song (referência: implementação do sistema de transcrição de anonimato, normalização do exame do palácio, expansão da escala de admissões); 3. Compare as principais diferenças entre os dois e elabore sobre seu impacto histórico na mobilidade da classe social e na construção do sistema burocrático da época. Pergunta: Descreva brevemente as principais diferenças e o impacto histórico do sistema de exames imperiais da Dinastia Tang em comparação com o sistema de exames imperiais da Dinastia Song." Este prompt pode ajustar dinamicamente a expressão e a lógica de orientação de raciocínio de acordo com a complexidade da pergunta, os detalhes do conhecimento recuperado e as capacidades do modelo.
Por favor, gere um diagrama de blocos claro ilustrando a arq...
![Por favor, gere um diagrama de blocos claro ilustrando a arquitetura do seguinte modelo de rede neural: Nome do Modelo: SAT-MoE. O lado esquerdo tem dois blocos de entrada: 1) Características do processo `opes` com formato [batch, num_opes, in_size_ope]; 2) Características da máquina `mas` com formato [batch, num_mas, in_size_ma]. Primeiro, aplique duas projeções lineares para obter representações ocultas da mesma dimensão, depois adicione embeddings de tipo (tipo de processo = 0, tipo de máquina = 1) e, adicionalmente, adicione codificação posicional à sequência do processo. Subsequentemente, aplique LayerNorm a ambos os caminhos separadamente e, em seguida, concatene-os ao longo da dimensão da sequência em uma sequência longa, que é alimentada em um Transformer Encoder empilhado (auto-atenção, atenção multi-cabeça, rede feed-forward). Um módulo Mixture-of-Experts (MoE) pode ser conectado no meio: uma rede de gating produz pesos para múltiplos experts MLP, e as saídas dos experts para cada token são ponderadas e somadas, seguidas por uma conexão residual e LayerNorm. A saída do Transformer é então dividida de volta em dois caminhos de acordo com o número original de processos e máquinas: representação do processo e representação da máquina. Em seguida, passe-os através de duas camadas de atenção cruzada sequencialmente: A primeira atenção "Processo → Máquina": as características do processo servem como Query, e as características da máquina servem como Key/Value, para obter a representação do processo atualizada; A segunda atenção "Máquina → Processo": as características da máquina servem como Query, e as características do processo servem como Key/Value, para obter a representação da máquina atualizada. As saídas finais são as características do processo atualizadas `out_opes` e as características da máquina `out_mas`. Por favor, use um layout de fluxo de dados da esquerda para a direita, conecte os módulos com setas, rotule o nome de cada módulo (como Projeção de Entrada, Embedding de Tipo, Codificação Posicional, Transformer Encoder, MoE, Atenção Ope-para-Máquina, Atenção Máquina-para-Ope, etc.) e torne o estilo do diagrama conciso e adequado para apresentação em artigos.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![O núcleo de cada iteração reside na geração de indivíduos descendentes que satisfazem as restrições e na conclusão da avaliação de aptidão de toda a população. Isso fornece uma base completa para selecionar a nova geração da população. Esta etapa é dividida em três subetapas: geração de descendentes por crossover, geração de descendentes por mutação adaptativa e fusão da população e avaliação em lote. Na geração de descendentes por crossover, o tamanho da prole é definido como 10.000 para garantir a eficiência da iteração e atualização da população. A estratégia de seleção por torneio é usada para a seleção dos pais, selecionando dois indivíduos pais com melhor aptidão da população atual para melhorar a qualidade geral da prole. Ao mesmo tempo, a lógica do crossover deve atender às condições de restrição. As etapas específicas são separar o valor absoluto e o sinal dos parâmetros dos pais para evitar destruir as condições de restrição durante o processo de crossover; realizar crossover de interpolação linear nos valores absolutos (α∈[0,1] é selecionado aleatoriamente) para gerar o valor absoluto dos parâmetros da prole; realizar clipping não negativo nos valores absolutos cruzados e, em seguida, normalizá-los para garantir que a soma dos valores absolutos seja 1; herdar aleatoriamente os sinais dos parâmetros dos pais e reconstruir o vetor de parâmetros completo da prole. Na geração de descendentes por mutação adaptativa, o tamanho da prole de mutação é definido como 1.000 para equilibrar a diversidade da população e a eficiência computacional. O pai é selecionado da população atual por meio de seleção por torneio para selecionar um indivíduo pai de alta qualidade e cloná-lo como um modelo de mutação. Ao mesmo tempo, a intensidade da mutação decai dinamicamente de 0,05 para 0,005 com o número de iterações, levando em consideração a exploração inicial e o refinamento tardio. Clipping não negativo e normalização são realizados nos valores absolutos mutados para garantir que as condições de restrição sejam atendidas. Finalmente, o sinal do parâmetro é invertido aleatoriamente com uma probabilidade de 10% para aumentar ainda mais a capacidade de exploração da população. Na fusão da população e avaliação em lote, a população atual (10.000), a prole de crossover (10.000) e a prole de mutação (1.000) são fundidas em uma população completa temporária (21.000). Indivíduos com aptidão inválida na população temporária são extraídos, e o cálculo abrangente ponderado em lote do erro é realizado nos indivíduos inválidos, e atribuído como valores de aptidão para completar a atualização da aptidão da população completa. A aptidão mínima (erro mínimo) e a aptidão média (erro médio) da geração atual são registradas para fornecer suporte de dados para o monitoramento da iteração.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)