Questo diagramma illustra la differenza tra la generazione di prompt statica e dinamica nel campo dell'informatica. Gli esempi nell'immagine sono i seguenti: 1. Esempio di Prompt Statico (Scenario di Task di Risposta a Domande Multi-hop): Per il task di risposta a domande di conoscenza multi-hop "Descrivi brevemente le differenze fondamentali e l'impatto storico del sistema degli esami imperiali della dinastia Tang rispetto al sistema degli esami imperiali della dinastia Song", il prompt statico utilizza un modello fisso preimpostato manualmente. Il contenuto è "Si prega di rispondere alla seguente domanda: {domanda}. Si prega di elaborare in punti e utilizzare un linguaggio conciso." Questo modello di prompt non differenzia tra la profondità della conoscenza storica coinvolta nella domanda o la complessità dei passaggi di ragionamento (questa domanda richiede almeno due passaggi di ragionamento: primo, ordinare il contenuto principale del sistema degli esami imperiali della dinastia Tang/Song, quindi confrontare le differenze e analizzare l'impatto). Inoltre, non si adatta al livello di capacità del modello linguistico di grandi dimensioni utilizzato (ad esempio, non integra spiegazioni di concetti di base per i modelli di livello base, né aggiunge una guida all'analisi approfondita per i modelli avanzati). Agisce sempre sul modello con un'espressione unificata, il che può facilmente portare i modelli di base a non essere in grado di completare il ragionamento a causa della mancanza di basi concettuali, e i modelli avanzati a produrre contenuti superficiali a causa di una guida insufficiente. 2. Esempio di Prompt Dinamico (Stesso Scenario di Task di Risposta a Domande Multi-hop): Per la stessa domanda di cui sopra, il processo di generazione di prompt dinamico deve passare attraverso quattro fasi adattive: "analisi del task - recupero della conoscenza - adattamento del modello - generazione del prompt". Innanzitutto, il modulo di analisi del task identifica che la domanda appartiene a un task di ragionamento multi-hop nel campo della storia, che richiede una catena logica di 2-3 passaggi. In secondo luogo, il meccanismo RAG recupera i punti di conoscenza fondamentali del sistema degli esami imperiali della dinastia Tang (come lo status della materia Jinshi e la mancata implementazione del sistema di anonimato) e del sistema degli esami imperiali della dinastia Song (come l'implementazione del sistema di trascrizione dell'anonimato e l'istituzionalizzazione dell'esame di palazzo). Quindi, combinato con le caratteristiche del modello utilizzato (supponendo che sia un modello di livello intermedio), si determina che è necessario integrare le transizioni concettuali di base, ma non è necessaria un'eccessiva semplificazione. Infine, viene generato un prompt dinamico: "Si prega di completare l'analisi della domanda sulla base delle seguenti conoscenze storiche e di rispondere in tre fasi di ragionamento: 1. Innanzitutto, chiarire le caratteristiche principali del sistema degli esami imperiali della dinastia Tang (riferimento: materia Jinshi come nucleo, nessun sistema di anonimato, piccolo numero di ammissioni); 2. Quindi, ordinare i cambiamenti chiave nel sistema degli esami imperiali della dinastia Song (riferimento: implementazione del sistema di trascrizione dell'anonimato, normalizzazione dell'esame di palazzo, espansione della scala delle ammissioni); 3. Confrontare le differenze fondamentali tra i due ed elaborare il loro impatto storico sulla mobilità della classe sociale e sulla costruzione del sistema burocratico in quel momento. Domanda: Descrivi brevemente le differenze fondamentali e l'impatto storico del sistema degli esami imperiali della dinastia Tang rispetto al sistema degli esami imperiali della dinastia Song." Questo prompt può regolare dinamicamente l'espressione e la logica di guida al ragionamento in base alla complessità della domanda, ai dettagli della conoscenza recuperata e alle capacità del modello.
Genera un diagramma a blocchi chiaro che illustri l'architet...
![Genera un diagramma a blocchi chiaro che illustri l'architettura del seguente modello di rete neurale: Nome del modello: SAT-MoE. Il lato sinistro ha due blocchi di input: 1) Feature di processo `opes` con shape [batch, num_opes, in_size_ope]; 2) Feature di macchina `mas` con shape [batch, num_mas, in_size_ma]. Innanzitutto, applica due proiezioni lineari per ottenere rappresentazioni nascoste della stessa dimensione, quindi aggiungi embedding di tipo (tipo processo = 0, tipo macchina = 1) e, inoltre, aggiungi codifica posizionale alla sequenza di processo. Successivamente, applica LayerNorm a entrambi i percorsi separatamente, e poi concatenali lungo la dimensione della sequenza in una sequenza lunga, che viene alimentata a un Transformer Encoder impilato (self-attention, multi-head attention, feed-forward network). Un modulo Mixture-of-Experts (MoE) può essere collegato nel mezzo: una rete di gating produce pesi per molteplici esperti MLP, e gli output degli esperti per ogni token sono pesati e sommati, seguiti da una connessione residua e LayerNorm. L'output del Transformer viene quindi suddiviso nuovamente in due percorsi in base al numero originale di processi e macchine: rappresentazione del processo e rappresentazione della macchina. Quindi, falli passare attraverso due layer di cross-attention in sequenza: La prima attenzione "Processo → Macchina": le feature di processo fungono da Query e le feature di macchina fungono da Key/Value, per ottenere la rappresentazione del processo aggiornata; La seconda attenzione "Macchina → Processo": le feature di macchina fungono da Query e le feature di processo fungono da Key/Value, per ottenere la rappresentazione della macchina aggiornata. Gli output finali sono le feature di processo aggiornate `out_opes` e le feature di macchina `out_mas`. Utilizza un layout di flusso di dati da sinistra a destra, collega i moduli con frecce, etichetta il nome di ciascun modulo (come Proiezione di Input, Embedding di Tipo, Codifica Posizionale, Transformer Encoder, MoE, Attenzione Ope-to-Machine, Attenzione Machine-to-Ope, ecc.) e rendi lo stile del diagramma conciso e adatto alla presentazione in un articolo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![Il nucleo di ogni iterazione risiede nella generazione di individui figli che soddisfano i vincoli e nel completamento della valutazione della fitness dell'intera popolazione. Questo fornisce una base completa per la selezione della nuova generazione della popolazione. Questa fase è suddivisa in tre sotto-fasi: generazione di figli da crossover, generazione di figli mutati adattivamente e fusione della popolazione e valutazione in batch. Nella generazione di figli da crossover, la dimensione dei figli è impostata a 10.000 per garantire l'efficienza dell'iterazione e dell'aggiornamento della popolazione. La strategia di selezione a torneo viene utilizzata per la selezione dei genitori, selezionando due individui genitori con una fitness migliore dalla popolazione corrente per migliorare la qualità complessiva dei figli. Allo stesso tempo, la logica del crossover deve soddisfare le condizioni di vincolo. I passaggi specifici sono separare il valore assoluto e il segno dei parametri genitoriali per evitare di distruggere le condizioni di vincolo durante il processo di crossover; eseguire un crossover di interpolazione lineare sui valori assoluti (α∈[0,1] viene selezionato casualmente) per generare il valore assoluto dei parametri dei figli; eseguire un clipping non negativo sui valori assoluti incrociati, e quindi normalizzarli per garantire che la somma dei valori assoluti sia 1; ereditare casualmente i segni dei parametri genitoriali e ricostruire il vettore completo dei parametri dei figli. Nella generazione di figli con mutazione adattiva, la dimensione dei figli con mutazione è impostata a 1.000 per bilanciare la diversità della popolazione e l'efficienza computazionale. Il genitore viene selezionato dalla popolazione corrente attraverso la selezione a torneo per selezionare un individuo genitore di alta qualità e clonarlo come modello di mutazione. Allo stesso tempo, l'intensità della mutazione decade dinamicamente da 0,05 a 0,005 con il numero di iterazioni, tenendo conto dell'esplorazione precoce e della rifinitura tardiva. Il clipping non negativo e la normalizzazione vengono eseguiti sui valori assoluti mutati per garantire che le condizioni di vincolo siano soddisfatte. Infine, il segno del parametro viene capovolto casualmente con una probabilità del 10% per migliorare ulteriormente la capacità di esplorazione della popolazione. Nella fusione della popolazione e nella valutazione in batch, la popolazione corrente (10.000), i figli da crossover (10.000) e i figli con mutazione (1.000) vengono fusi in una popolazione completa temporanea (21.000). Gli individui con fitness non valida nella popolazione temporanea vengono estratti e viene eseguito un calcolo dell'errore complessivo ponderato in batch sugli individui non validi, e assegnato come valori di fitness per completare l'aggiornamento della fitness dell'intera popolazione. La fitness minima (errore minimo) e la fitness media (errore medio) della generazione corrente vengono registrate per fornire supporto dati per il monitoraggio dell'iterazione.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)