![다음 신경망 모델의 아키텍처를 명확하게 보여주는 블록 다이어그램을 생성하십시오: 모델 이름: SAT-MoE. 왼쪽에는 두 개의 입력 블록이 있습니다: 1) 형상 [batch, num_opes, in_size_ope]를 갖는 프로세스 특징 `opes`; 2) 형상 [batch, num_mas, in_size_ma]를 갖는 머신 특징 `mas`. 먼저, 두 개의 선형 투영을 적용하여 동일한 차원의 숨겨진 표현을 얻은 다음, 타입 임베딩 (프로세스 타입 = 0, 머신 타입 = 1)을 추가하고, 추가적으로 프로세스 시퀀스에 위치 인코딩을 추가합니다. 그 후, LayerNorm을 두 경로에 각각 적용하고, 시퀀스 차원을 따라 연결하여 긴 시퀀스를 만든 다음, 스택형 Transformer Encoder (self-attention, multi-head attention, feed-forward network)에 입력합니다. Mixture-of-Experts (MoE) 모듈을 중간에 연결할 수 있습니다: 게이팅 네트워크는 여러 MLP 전문가에 대한 가중치를 출력하고, 각 토큰에 대한 전문가 출력은 가중치가 적용되어 합산된 후, 잔차 연결 및 LayerNorm이 이어집니다. Transformer 출력은 원래 프로세스 및 머신 수에 따라 다시 두 경로로 분할됩니다: 프로세스 표현 및 머신 표현. 그런 다음, 두 개의 교차 어텐션 레이어를 순차적으로 통과시킵니다: 첫 번째 "프로세스 → 머신" 어텐션: 프로세스 특징은 Query로 사용되고, 머신 특징은 Key/Value로 사용되어 업데이트된 프로세스 표현을 얻습니다; 두 번째 "머신 → 프로세스" 어텐션: 머신 특징은 Query로 사용되고, 프로세스 특징은 Key/Value로 사용되어 업데이트된 머신 표현을 얻습니다. 최종 출력은 업데이트된 프로세스 특징 `out_opes` 및 머신 특징 `out_mas`입니다. 왼쪽에서 오른쪽으로 데이터 흐름 레이아웃을 사용하고, 모듈을 화살표로 연결하고, 각 모듈의 이름 (예: 입력 투영, 타입 임베딩, 위치 인코딩, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention 등)을 레이블링하고, 다이어그램 스타일을 간결하게 만들고 논문 발표에 적합하게 만드십시오.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
프롬프트 설명
다음 신경망 모델의 아키텍처를 명확하게 보여주는 블록 다이어그램을 생성하십시오: 모델 이름: SAT-MoE. 왼쪽에는 두 개의 입력 블록이 있습니다: 1) 형상 [batch, num_opes, in_size_ope]를 갖는 프로세스 특징 `opes`; 2) 형상 [batch, num_mas, in_size_ma]를 갖는 머신 특징 `mas`. 먼저, 두 개의 선형 투영을 적용하여 동일한 차원의 숨겨진 표현을 얻은 다음, 타입 임베딩 (프로세스 타입 = 0, 머신 타입 = 1)을 추가하고, 추가적으로 프로세스 시퀀스에 위치 인코딩을 추가합니다. 그 후, LayerNorm을 두 경로에 각각 적용하고, 시퀀스 차원을 따라 연결하여 긴 시퀀스를 만든 다음, 스택형 Transformer Encoder (self-attention, multi-head attention, feed-forward network)에 입력합니다. Mixture-of-Experts (MoE) 모듈을 중간에 연결할 수 있습니다: 게이팅 네트워크는 여러 MLP 전문가에 대한 가중치를 출력하고, 각 토큰에 대한 전문가 출력은 가중치가 적용되어 합산된 후, 잔차 연결 및 LayerNorm이 이어집니다. Transformer 출력은 원래 프로세스 및 머신 수에 따라 다시 두 경로로 분할됩니다: 프로세스 표현 및 머신 표현. 그런 다음, 두 개의 교차 어텐션 레이어를 순차적으로 통과시킵니다: 첫 번째 "프로세스 → 머신" 어텐션: 프로세스 특징은 Query로 사용되고, 머신 특징은 Key/Value로 사용되어 업데이트된 프로세스 표현을 얻습니다; 두 번째 "머신 → 프로세스" 어텐션: 머신 특징은 Query로 사용되고, 프로세스 특징은 Key/Value로 사용되어 업데이트된 머신 표현을 얻습니다. 최종 출력은 업데이트된 프로세스 특징 `out_opes` 및 머신 특징 `out_mas`입니다. 왼쪽에서 오른쪽으로 데이터 흐름 레이아웃을 사용하고, 모듈을 화살표로 연결하고, 각 모듈의 이름 (예: 입력 투영, 타입 임베딩, 위치 인코딩, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention 등)을 레이블링하고, 다이어그램 스타일을 간결하게 만들고 논문 발표에 적합하게 만드십시오.
![각 반복의 핵심은 제약 조건을 만족하는 자손 개체를 생성하고 전체 모집단의 적합도 평가를 완료하는 데 있습니다. 이는 모집단의 새로운 세대를 선택하기 위한 완전한 기반을 제공합니다. 이 단계는 교차 자손 생성, 적응적 돌연변이 자손 생성, 모집단 병합 및 일괄 평가의 세 가지 하위 단계로 나뉩니다. 교차 자손 생성에서 자손 크기는 모집단 반복 및 업데이트의 효율성을 보장하기 위해 10,000으로 설정됩니다. 토너먼트 선택 전략은 부모 선택에 사용되며, 현재 모집단에서 더 나은 적합도를 가진 두 부모 개체를 선택하여 자손의 전반적인 품질을 향상시킵니다. 동시에 교차 논리는 제약 조건을 충족해야 합니다. 구체적인 단계는 교차 과정에서 제약 조건이 파괴되는 것을 방지하기 위해 부모 매개변수의 절대값과 부호를 분리하는 것입니다. 절대값에 대해 선형 보간 교차를 수행하고 (α∈[0,1]은 무작위로 선택됨) 자손 매개변수의 절대값을 생성합니다. 교차된 절대값에 대해 음수가 아닌 클리핑을 수행한 다음 절대값의 합이 1이 되도록 정규화합니다. 부모 매개변수 부호를 무작위로 상속하고 완전한 자손 매개변수 벡터를 재구성합니다. 적응적 돌연변이 자손 생성에서 돌연변이 자손 크기는 모집단 다양성과 계산 효율성의 균형을 맞추기 위해 1,000으로 설정됩니다. 부모는 현재 모집단에서 토너먼트 선택을 통해 선택되어 고품질 부모 개체를 선택하고 돌연변이 템플릿으로 복제합니다. 동시에 돌연변이 강도는 초기 탐색과 후기 개선을 고려하여 반복 횟수에 따라 0.05에서 0.005로 동적으로 감소합니다. 제약 조건이 충족되도록 돌연변이된 절대값에 대해 음수가 아닌 클리핑 및 정규화를 수행합니다. 마지막으로 모집단의 탐색 능력을 더욱 향상시키기 위해 매개변수 부호는 10%의 확률로 무작위로 반전됩니다. 모집단 병합 및 일괄 평가에서 현재 모집단(10,000), 교차 자손(10,000) 및 돌연변이 자손(1,000)이 임시 전체 모집단(21,000)으로 병합됩니다. 임시 모집단에서 유효하지 않은 적합도를 가진 개체를 추출하고 유효하지 않은 개체에 대해 일괄 가중 종합 오류 계산을 수행하고 전체 모집단의 적합도 업데이트를 완료하기 위해 적합도 값으로 할당합니다. 현재 세대의 최소 적합도(최소 오류) 및 평균 적합도(평균 오류)가 반복 모니터링을 위한 데이터 지원을 제공하기 위해 기록됩니다.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)
