![Genera un diagramma a blocchi chiaro che illustri l'architettura del seguente modello di rete neurale: Nome del modello: SAT-MoE. Il lato sinistro ha due blocchi di input: 1) Feature di processo `opes` con shape [batch, num_opes, in_size_ope]; 2) Feature di macchina `mas` con shape [batch, num_mas, in_size_ma]. Innanzitutto, applica due proiezioni lineari per ottenere rappresentazioni nascoste della stessa dimensione, quindi aggiungi embedding di tipo (tipo processo = 0, tipo macchina = 1) e, inoltre, aggiungi codifica posizionale alla sequenza di processo. Successivamente, applica LayerNorm a entrambi i percorsi separatamente, e poi concatenali lungo la dimensione della sequenza in una sequenza lunga, che viene alimentata a un Transformer Encoder impilato (self-attention, multi-head attention, feed-forward network). Un modulo Mixture-of-Experts (MoE) può essere collegato nel mezzo: una rete di gating produce pesi per molteplici esperti MLP, e gli output degli esperti per ogni token sono pesati e sommati, seguiti da una connessione residua e LayerNorm. L'output del Transformer viene quindi suddiviso nuovamente in due percorsi in base al numero originale di processi e macchine: rappresentazione del processo e rappresentazione della macchina. Quindi, falli passare attraverso due layer di cross-attention in sequenza: La prima attenzione "Processo → Macchina": le feature di processo fungono da Query e le feature di macchina fungono da Key/Value, per ottenere la rappresentazione del processo aggiornata; La seconda attenzione "Macchina → Processo": le feature di macchina fungono da Query e le feature di processo fungono da Key/Value, per ottenere la rappresentazione della macchina aggiornata. Gli output finali sono le feature di processo aggiornate `out_opes` e le feature di macchina `out_mas`. Utilizza un layout di flusso di dati da sinistra a destra, collega i moduli con frecce, etichetta il nome di ciascun modulo (come Proiezione di Input, Embedding di Tipo, Codifica Posizionale, Transformer Encoder, MoE, Attenzione Ope-to-Machine, Attenzione Machine-to-Ope, ecc.) e rendi lo stile del diagramma conciso e adatto alla presentazione in un articolo.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
Illustrazioni correlate
Genera un diagramma a blocchi chiaro che illustri l'architettura del seguente modello di rete neurale: Nome del modello: SAT-MoE. Il lato sinistro ha due blocchi di input: 1) Feature di processo `opes` con shape [batch, num_opes, in_size_ope]; 2) Feature di macchina `mas` con shape [batch, num_mas, in_size_ma]. Innanzitutto, applica due proiezioni lineari per ottenere rappresentazioni nascoste della stessa dimensione, quindi aggiungi embedding di tipo (tipo processo = 0, tipo macchina = 1) e, inoltre, aggiungi codifica posizionale alla sequenza di processo. Successivamente, applica LayerNorm a entrambi i percorsi separatamente, e poi concatenali lungo la dimensione della sequenza in una sequenza lunga, che viene alimentata a un Transformer Encoder impilato (self-attention, multi-head attention, feed-forward network). Un modulo Mixture-of-Experts (MoE) può essere collegato nel mezzo: una rete di gating produce pesi per molteplici esperti MLP, e gli output degli esperti per ogni token sono pesati e sommati, seguiti da una connessione residua e LayerNorm. L'output del Transformer viene quindi suddiviso nuovamente in due percorsi in base al numero originale di processi e macchine: rappresentazione del processo e rappresentazione della macchina. Quindi, falli passare attraverso due layer di cross-attention in sequenza: La prima attenzione "Processo → Macchina": le feature di processo fungono da Query e le feature di macchina fungono da Key/Value, per ottenere la rappresentazione del processo aggiornata; La seconda attenzione "Macchina → Processo": le feature di macchina fungono da Query e le feature di processo fungono da Key/Value, per ottenere la rappresentazione della macchina aggiornata. Gli output finali sono le feature di processo aggiornate `out_opes` e le feature di macchina `out_mas`. Utilizza un layout di flusso di dati da sinistra a destra, collega i moduli con frecce, etichetta il nome di ciascun modulo (come Proiezione di Input, Embedding di Tipo, Codifica Posizionale, Transformer Encoder, MoE, Attenzione Ope-to-Machine, Attenzione Machine-to-Ope, ecc.) e rendi lo stile del diagramma conciso e adatto alla presentazione in un articolo.
Questo diagramma illustra la differenza tra la generazione d...
![Il nucleo di ogni iterazione risiede nella generazione di individui figli che soddisfano i vincoli e nel completamento della valutazione della fitness dell'intera popolazione. Questo fornisce una base completa per la selezione della nuova generazione della popolazione. Questa fase è suddivisa in tre sotto-fasi: generazione di figli da crossover, generazione di figli mutati adattivamente e fusione della popolazione e valutazione in batch. Nella generazione di figli da crossover, la dimensione dei figli è impostata a 10.000 per garantire l'efficienza dell'iterazione e dell'aggiornamento della popolazione. La strategia di selezione a torneo viene utilizzata per la selezione dei genitori, selezionando due individui genitori con una fitness migliore dalla popolazione corrente per migliorare la qualità complessiva dei figli. Allo stesso tempo, la logica del crossover deve soddisfare le condizioni di vincolo. I passaggi specifici sono separare il valore assoluto e il segno dei parametri genitoriali per evitare di distruggere le condizioni di vincolo durante il processo di crossover; eseguire un crossover di interpolazione lineare sui valori assoluti (α∈[0,1] viene selezionato casualmente) per generare il valore assoluto dei parametri dei figli; eseguire un clipping non negativo sui valori assoluti incrociati, e quindi normalizzarli per garantire che la somma dei valori assoluti sia 1; ereditare casualmente i segni dei parametri genitoriali e ricostruire il vettore completo dei parametri dei figli. Nella generazione di figli con mutazione adattiva, la dimensione dei figli con mutazione è impostata a 1.000 per bilanciare la diversità della popolazione e l'efficienza computazionale. Il genitore viene selezionato dalla popolazione corrente attraverso la selezione a torneo per selezionare un individuo genitore di alta qualità e clonarlo come modello di mutazione. Allo stesso tempo, l'intensità della mutazione decade dinamicamente da 0,05 a 0,005 con il numero di iterazioni, tenendo conto dell'esplorazione precoce e della rifinitura tardiva. Il clipping non negativo e la normalizzazione vengono eseguiti sui valori assoluti mutati per garantire che le condizioni di vincolo siano soddisfatte. Infine, il segno del parametro viene capovolto casualmente con una probabilità del 10% per migliorare ulteriormente la capacità di esplorazione della popolazione. Nella fusione della popolazione e nella valutazione in batch, la popolazione corrente (10.000), i figli da crossover (10.000) e i figli con mutazione (1.000) vengono fusi in una popolazione completa temporanea (21.000). Gli individui con fitness non valida nella popolazione temporanea vengono estratti e viene eseguito un calcolo dell'errore complessivo ponderato in batch sugli individui non validi, e assegnato come valori di fitness per completare l'aggiornamento della fitness dell'intera popolazione. La fitness minima (errore minimo) e la fitness media (errore medio) della generazione corrente vengono registrate per fornire supporto dati per il monitoraggio dell'iterazione.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
