Este diagrama ilustra la diferencia entre la generación de prompts estáticos y dinámicos en el campo de la informática. Los ejemplos en la imagen son los siguientes: 1. Ejemplo de Prompt Estático (Escenario de Tarea de Respuesta a Preguntas Multi-salto): Para la tarea de respuesta a preguntas de conocimiento multi-salto "Describa brevemente las diferencias centrales y el impacto histórico del sistema de exámenes imperiales de la dinastía Tang en comparación con el sistema de exámenes imperiales de la dinastía Song", el prompt estático utiliza una plantilla fija preestablecida manualmente. El contenido es "Por favor, responda la siguiente pregunta: {pregunta}. Por favor, elabore en puntos y utilice un lenguaje conciso." Esta plantilla de prompt no diferencia entre la profundidad del conocimiento histórico involucrado en la pregunta o la complejidad de los pasos de razonamiento (esta pregunta requiere al menos dos pasos de razonamiento: primero, ordenar el contenido central del sistema de exámenes imperiales de la dinastía Tang/Song, luego comparar las diferencias y analizar el impacto). Tampoco se adapta al nivel de capacidad del modelo de lenguaje grande utilizado (por ejemplo, no complementa las explicaciones de conceptos básicos para los modelos de nivel básico, ni añade una guía de análisis en profundidad para los modelos avanzados). Siempre actúa sobre el modelo con una expresión unificada, lo que puede llevar fácilmente a que los modelos básicos no puedan completar el razonamiento debido a la falta de una base conceptual, y a que los modelos avanzados produzcan contenido superficial debido a una guía insuficiente. 2. Ejemplo de Prompt Dinámico (Mismo Escenario de Tarea de Respuesta a Preguntas Multi-salto): Para la misma pregunta anterior, el proceso de generación de prompts dinámicos debe pasar por cuatro etapas adaptativas: "análisis de la tarea - recuperación de conocimiento - adaptación del modelo - generación del prompt". Primero, el módulo de análisis de la tarea identifica que la pregunta pertenece a una tarea de razonamiento multi-salto en el campo de la historia, que requiere una cadena lógica de 2-3 pasos. En segundo lugar, el mecanismo RAG recupera los puntos de conocimiento centrales del sistema de exámenes imperiales de la dinastía Tang (como el estatus del tema Jinshi y la no implementación del sistema de anonimato) y el sistema de exámenes imperiales de la dinastía Song (como la implementación del sistema de transcripción de anonimato y la institucionalización del examen palaciego). Luego, combinado con las características del modelo utilizado (asumiendo que es un modelo de nivel intermedio), se determina que es necesario complementar las transiciones de conceptos básicos, pero no es necesaria una simplificación excesiva. Finalmente, se genera un prompt dinámico: "Por favor, complete el análisis de la pregunta basándose en el siguiente conocimiento histórico, y responda en tres pasos de razonamiento: 1. Primero, aclare las características centrales del sistema de exámenes imperiales de la dinastía Tang (referencia: tema Jinshi como núcleo, sin sistema de anonimato, pequeño número de admisiones); 2. Luego, ordene los cambios clave en el sistema de exámenes imperiales de la dinastía Song (referencia: implementación del sistema de transcripción de anonimato, normalización del examen palaciego, expansión de la escala de admisiones); 3. Compare las diferencias centrales entre los dos y elabore sobre su impacto histórico en la movilidad de la clase social y la construcción del sistema burocrático en ese momento. Pregunta: Describa brevemente las diferencias centrales y el impacto histórico del sistema de exámenes imperiales de la dinastía Tang en comparación con el sistema de exámenes imperiales de la dinastía Song." Este prompt puede ajustar dinámicamente la expresión y la lógica de guía de razonamiento de acuerdo con la complejidad de la pregunta, los detalles del conocimiento recuperado y las capacidades del modelo.
Por favor, genera un diagrama de bloques claro que ilustre l...
![Por favor, genera un diagrama de bloques claro que ilustre la arquitectura del siguiente modelo de red neuronal: Nombre del modelo: SAT-MoE. El lado izquierdo tiene dos bloques de entrada: 1) Características del proceso `opes` con forma [batch, num_opes, in_size_ope]; 2) Características de la máquina `mas` con forma [batch, num_mas, in_size_ma]. Primero, aplica dos proyecciones lineales para obtener representaciones ocultas de la misma dimensión, luego agrega incrustaciones de tipo (tipo de proceso = 0, tipo de máquina = 1), y adicionalmente agrega codificación posicional a la secuencia del proceso. Posteriormente, aplica LayerNorm a ambos caminos por separado, y luego concaténalos a lo largo de la dimensión de la secuencia en una secuencia larga, que se introduce en un codificador Transformer apilado (auto-atención, atención multi-cabeza, red feed-forward). Se puede conectar un módulo de Mixture-of-Experts (MoE) en el medio: una red de gating genera pesos para múltiples expertos MLP, y las salidas de los expertos para cada token se ponderan y se suman, seguido de una conexión residual y LayerNorm. La salida del Transformer se divide nuevamente en dos caminos de acuerdo con el número original de procesos y máquinas: representación del proceso y representación de la máquina. Luego, pásalos a través de dos capas de atención cruzada secuencialmente: La primera atención "Proceso → Máquina": las características del proceso sirven como Query, y las características de la máquina sirven como Key/Value, para obtener la representación del proceso actualizada; La segunda atención "Máquina → Proceso": las características de la máquina sirven como Query, y las características del proceso sirven como Key/Value, para obtener la representación de la máquina actualizada. Las salidas finales son las características del proceso actualizadas `out_opes` y las características de la máquina `out_mas`. Por favor, utiliza un diseño de flujo de datos de izquierda a derecha, conecta los módulos con flechas, etiqueta el nombre de cada módulo (como Proyección de Entrada, Incrustación de Tipo, Codificación Posicional, Codificador Transformer, MoE, Atención Ope-a-Máquina, Atención Máquina-a-Ope, etc.), y haz que el estilo del diagrama sea conciso y adecuado para la presentación en un artículo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![El núcleo de cada iteración reside en generar individuos descendientes que satisfagan las restricciones y completar la evaluación de la aptitud de toda la población. Esto proporciona una base completa para seleccionar la nueva generación de la población. Esta etapa se divide en tres sub-pasos: generación de descendientes por cruce, generación de descendientes mutados adaptativamente, y fusión de la población y evaluación por lotes. En la generación de descendientes por cruce, el tamaño de la descendencia se establece en 10,000 para garantizar la eficiencia de la iteración y actualización de la población. Se utiliza la estrategia de selección por torneo para la selección de padres, seleccionando dos individuos padres con mejor aptitud de la población actual para mejorar la calidad general de la descendencia. Al mismo tiempo, la lógica del cruce debe cumplir con las condiciones de restricción. Los pasos específicos son separar el valor absoluto y el signo de los parámetros de los padres para evitar destruir las condiciones de restricción durante el proceso de cruce; realizar un cruce de interpolación lineal en los valores absolutos (α∈[0,1] se selecciona aleatoriamente) para generar el valor absoluto de los parámetros de la descendencia; realizar un recorte no negativo en los valores absolutos cruzados, y luego normalizarlos para asegurar que la suma de los valores absolutos sea 1; heredar aleatoriamente los signos de los parámetros de los padres y reconstruir el vector de parámetros de la descendencia completo. En la generación de descendientes por mutación adaptativa, el tamaño de la descendencia por mutación se establece en 1,000 para equilibrar la diversidad de la población y la eficiencia computacional. El padre se selecciona de la población actual a través de la selección por torneo para seleccionar un individuo padre de alta calidad y clonarlo como una plantilla de mutación. Al mismo tiempo, la intensidad de la mutación decae dinámicamente de 0.05 a 0.005 con el número de iteraciones, teniendo en cuenta la exploración temprana y el refinamiento tardío. Se realiza un recorte no negativo y una normalización en los valores absolutos mutados para asegurar que se cumplan las condiciones de restricción. Finalmente, el signo del parámetro se invierte aleatoriamente con una probabilidad del 10% para mejorar aún más la capacidad de exploración de la población. En la fusión de la población y la evaluación por lotes, la población actual (10,000), la descendencia por cruce (10,000) y la descendencia por mutación (1,000) se fusionan en una población completa temporal (21,000). Se extraen los individuos con aptitud no válida en la población temporal, y se realiza un cálculo integral de error ponderado por lotes en los individuos no válidos, y se asignan como valores de aptitud para completar la actualización de la aptitud de la población completa. Se registra la aptitud mínima (error mínimo) y la aptitud promedio (error promedio) de la generación actual para proporcionar soporte de datos para el monitoreo de la iteración.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)