프롬프트 설명
이 다이어그램은 컴퓨터 과학 분야에서 정적 프롬프트 생성과 동적 프롬프트 생성의 차이점을 보여줍니다. 이미지의 예시는 다음과 같습니다. 1. 정적 프롬프트 예시 (다중 홉 질의 응답 태스크 시나리오): "당나라의 과거 제도와 송나라의 과거 제도의 핵심적인 차이점과 역사적 영향에 대해 간략하게 설명하시오"라는 다중 홉 지식 질의 응답 태스크에 대해, 정적 프롬프트는 수동으로 미리 설정된 고정된 템플릿을 사용합니다. 내용은 "{질문}에 답하십시오. 요점을 들어 간결하게 설명하십시오."입니다. 이 프롬프트 템플릿은 질문에 포함된 역사적 지식의 깊이나 추론 단계의 복잡성(이 질문은 최소 2단계의 추론이 필요합니다: 먼저 당/송나라 과거 제도의 핵심 내용을 정리하고, 그 다음 차이점을 비교하고 영향을 분석해야 함)을 구별하지 않습니다. 또한 사용되는 대규모 언어 모델의 능력 수준에 적응하지 않습니다 (예: 기본 수준 모델에 대한 기본 개념 설명을 보충하지 않거나, 고급 모델에 대한 심층 분석 지침을 추가하지 않음). 항상 통일된 표현으로 모델에 작용하므로, 기본 모델은 개념적 기반 부족으로 인해 추론을 완료하지 못하고, 고급 모델은 지침 부족으로 인해 피상적인 내용을 출력하기 쉽습니다. 2. 동적 프롬프트 예시 (동일한 다중 홉 질의 응답 태스크 시나리오): 위와 동일한 질문에 대해, 동적 프롬프트 생성 프로세스는 "태스크 분석 - 지식 검색 - 모델 적응 - 프롬프트 생성"의 네 가지 적응 단계를 거쳐야 합니다. 먼저, 태스크 분석 모듈은 질문이 역사 분야의 다중 홉 추론 태스크에 속하며 2-3단계의 논리 체인이 필요함을 식별합니다. 둘째, RAG 메커니즘은 당나라 과거 제도의 핵심 지식 포인트 (예: 진사과의 위상 및 익명 제도 미실시)와 송나라 과거 제도의 핵심 지식 포인트 (예: 익명 답안지 제도 실시 및 전시의 제도화)를 검색합니다. 그런 다음, 사용되는 모델의 특징 (중간 수준 모델이라고 가정)과 결합하여 기본 개념 전환을 보충해야 하지만 지나친 단순화는 필요하지 않다고 판단합니다. 마지막으로, 동적 프롬프트가 생성됩니다: "다음 역사적 지식을 바탕으로 질문 분석을 완료하고, 3단계 추론으로 답변하십시오: 1. 먼저, 당나라 과거 제도의 핵심 특징을 명확히 하십시오 (참고: 진사과를 중심으로, 익명 제도 없음, 소수 합격); 2. 다음으로, 송나라 과거 제도의 주요 변화를 정리하십시오 (참고: 익명 답안지 제도 실시, 전시의 정상화, 합격 규모 확대); 3. 두 제도의 핵심 차이점을 비교하고 당시 사회 계층 이동과 관료 체제 구축에 미친 역사적 영향을 자세히 설명하십시오. 질문: 당나라의 과거 제도와 송나라의 과거 제도의 핵심적인 차이점과 역사적 영향에 대해 간략하게 설명하시오." 이 프롬프트는 질문의 복잡성, 검색된 지식 세부 사항 및 모델의 기능에 따라 표현 및 추론 지침 논리를 동적으로 조정할 수 있습니다.
![다음 신경망 모델의 아키텍처를 명확하게 보여주는 블록 다이어그램을 생성하십시오: 모델 이름: SAT-MoE. 왼쪽에는 두 개의 입력 블록이 있습니다: 1) 형상 [batch, num_opes, in_size_ope]를 갖는 프로세스 특징 `opes`; 2) 형상 [batch, num_mas, in_size_ma]를 갖는 머신 특징 `mas`. 먼저, 두 개의 선형 투영을 적용하여 동일한 차원의 숨겨진 표현을 얻은 다음, 타입 임베딩 (프로세스 타입 = 0, 머신 타입 = 1)을 추가하고, 추가적으로 프로세스 시퀀스에 위치 인코딩을 추가합니다. 그 후, LayerNorm을 두 경로에 각각 적용하고, 시퀀스 차원을 따라 연결하여 긴 시퀀스를 만든 다음, 스택형 Transformer Encoder (self-attention, multi-head attention, feed-forward network)에 입력합니다. Mixture-of-Experts (MoE) 모듈을 중간에 연결할 수 있습니다: 게이팅 네트워크는 여러 MLP 전문가에 대한 가중치를 출력하고, 각 토큰에 대한 전문가 출력은 가중치가 적용되어 합산된 후, 잔차 연결 및 LayerNorm이 이어집니다. Transformer 출력은 원래 프로세스 및 머신 수에 따라 다시 두 경로로 분할됩니다: 프로세스 표현 및 머신 표현. 그런 다음, 두 개의 교차 어텐션 레이어를 순차적으로 통과시킵니다: 첫 번째 "프로세스 → 머신" 어텐션: 프로세스 특징은 Query로 사용되고, 머신 특징은 Key/Value로 사용되어 업데이트된 프로세스 표현을 얻습니다; 두 번째 "머신 → 프로세스" 어텐션: 머신 특징은 Query로 사용되고, 프로세스 특징은 Key/Value로 사용되어 업데이트된 머신 표현을 얻습니다. 최종 출력은 업데이트된 프로세스 특징 `out_opes` 및 머신 특징 `out_mas`입니다. 왼쪽에서 오른쪽으로 데이터 흐름 레이아웃을 사용하고, 모듈을 화살표로 연결하고, 각 모듈의 이름 (예: 입력 투영, 타입 임베딩, 위치 인코딩, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention 등)을 레이블링하고, 다이어그램 스타일을 간결하게 만들고 논문 발표에 적합하게 만드십시오.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![각 반복의 핵심은 제약 조건을 만족하는 자손 개체를 생성하고 전체 모집단의 적합도 평가를 완료하는 데 있습니다. 이는 모집단의 새로운 세대를 선택하기 위한 완전한 기반을 제공합니다. 이 단계는 교차 자손 생성, 적응적 돌연변이 자손 생성, 모집단 병합 및 일괄 평가의 세 가지 하위 단계로 나뉩니다. 교차 자손 생성에서 자손 크기는 모집단 반복 및 업데이트의 효율성을 보장하기 위해 10,000으로 설정됩니다. 토너먼트 선택 전략은 부모 선택에 사용되며, 현재 모집단에서 더 나은 적합도를 가진 두 부모 개체를 선택하여 자손의 전반적인 품질을 향상시킵니다. 동시에 교차 논리는 제약 조건을 충족해야 합니다. 구체적인 단계는 교차 과정에서 제약 조건이 파괴되는 것을 방지하기 위해 부모 매개변수의 절대값과 부호를 분리하는 것입니다. 절대값에 대해 선형 보간 교차를 수행하고 (α∈[0,1]은 무작위로 선택됨) 자손 매개변수의 절대값을 생성합니다. 교차된 절대값에 대해 음수가 아닌 클리핑을 수행한 다음 절대값의 합이 1이 되도록 정규화합니다. 부모 매개변수 부호를 무작위로 상속하고 완전한 자손 매개변수 벡터를 재구성합니다. 적응적 돌연변이 자손 생성에서 돌연변이 자손 크기는 모집단 다양성과 계산 효율성의 균형을 맞추기 위해 1,000으로 설정됩니다. 부모는 현재 모집단에서 토너먼트 선택을 통해 선택되어 고품질 부모 개체를 선택하고 돌연변이 템플릿으로 복제합니다. 동시에 돌연변이 강도는 초기 탐색과 후기 개선을 고려하여 반복 횟수에 따라 0.05에서 0.005로 동적으로 감소합니다. 제약 조건이 충족되도록 돌연변이된 절대값에 대해 음수가 아닌 클리핑 및 정규화를 수행합니다. 마지막으로 모집단의 탐색 능력을 더욱 향상시키기 위해 매개변수 부호는 10%의 확률로 무작위로 반전됩니다. 모집단 병합 및 일괄 평가에서 현재 모집단(10,000), 교차 자손(10,000) 및 돌연변이 자손(1,000)이 임시 전체 모집단(21,000)으로 병합됩니다. 임시 모집단에서 유효하지 않은 적합도를 가진 개체를 추출하고 유효하지 않은 개체에 대해 일괄 가중 종합 오류 계산을 수행하고 전체 모집단의 적합도 업데이트를 완료하기 위해 적합도 값으로 할당합니다. 현재 세대의 최소 적합도(최소 오류) 및 평균 적합도(평균 오류)가 반복 모니터링을 위한 데이터 지원을 제공하기 위해 기록됩니다.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)