갤러리로 돌아가기
AI & 시스템
프롬프트 설명
본 실험은 연합 학습 알고리즘의 성능에 미치는 데이터 분포 이질성의 영향을 조사하는 것을 목표로 합니다. 실험은 각각 조사 지점을 나타내는 3개의 고정된 클라이언트를 사용합니다. 17개의 이질성 수준(0-16)은 완전히 동질적인 시나리오부터 극도로 이질적인 시나리오까지 데이터 분포 시나리오를 시뮬레이션하도록 설계되었습니다. 데이터 할당 전략은 각 종 범주에 대상 클라이언트를 할당합니다. 예를 들어 'zhaoshui'는 클라이언트 2에, 'xiaotuan'은 클라이언트 0에, 'nizi'는 클라이언트 1에 할당됩니다. 이질성 수준 0은 완전히 균등한 분포를 나타내며, 각 종 범주가 세 클라이언트 각각에서 약 33%를 차지합니다. 이질성 수준 1-6은 대상 클라이언트에서 대상 범주의 비율이 43%에서 90%로 점진적으로 증가하고, 나머지 샘플은 다른 두 클라이언트에 균등하게 분배됨을 나타냅니다. 이질성 수준 7-15는 대상 클라이언트에서 대상 범주의 비율이 91%에서 99%로 점진적으로 증가하며, 주 종 외에 다른 두 종의 샘플이 각 클라이언트당 8-10개만 남음을 나타냅니다. 이질성 수준 16은 완전한 이질성을 나타내며, 대상 클라이언트에서 대상 범주가 100%를 차지하고 다른 두 클라이언트에서는 0%를 차지합니다. 'noise' 범주는 모든 이질성 수준에서 균등하게 분배된 상태로 유지됩니다. 독립적인 테스트 세트에서 각 이질성 수준에 대한 평가 결과는 표에 나와 있습니다.
![다음 신경망 모델의 아키텍처를 명확하게 보여주는 블록 다이어그램을 생성하십시오: 모델 이름: SAT-MoE. 왼쪽에는 두 개의 입력 블록이 있습니다: 1) 형상 [batch, num_opes, in_size_ope]를 갖는 프로세스 특징 `opes`; 2) 형상 [batch, num_mas, in_size_ma]를 갖는 머신 특징 `mas`. 먼저, 두 개의 선형 투영을 적용하여 동일한 차원의 숨겨진 표현을 얻은 다음, 타입 임베딩 (프로세스 타입 = 0, 머신 타입 = 1)을 추가하고, 추가적으로 프로세스 시퀀스에 위치 인코딩을 추가합니다. 그 후, LayerNorm을 두 경로에 각각 적용하고, 시퀀스 차원을 따라 연결하여 긴 시퀀스를 만든 다음, 스택형 Transformer Encoder (self-attention, multi-head attention, feed-forward network)에 입력합니다. Mixture-of-Experts (MoE) 모듈을 중간에 연결할 수 있습니다: 게이팅 네트워크는 여러 MLP 전문가에 대한 가중치를 출력하고, 각 토큰에 대한 전문가 출력은 가중치가 적용되어 합산된 후, 잔차 연결 및 LayerNorm이 이어집니다. Transformer 출력은 원래 프로세스 및 머신 수에 따라 다시 두 경로로 분할됩니다: 프로세스 표현 및 머신 표현. 그런 다음, 두 개의 교차 어텐션 레이어를 순차적으로 통과시킵니다: 첫 번째 "프로세스 → 머신" 어텐션: 프로세스 특징은 Query로 사용되고, 머신 특징은 Key/Value로 사용되어 업데이트된 프로세스 표현을 얻습니다; 두 번째 "머신 → 프로세스" 어텐션: 머신 특징은 Query로 사용되고, 프로세스 특징은 Key/Value로 사용되어 업데이트된 머신 표현을 얻습니다. 최종 출력은 업데이트된 프로세스 특징 `out_opes` 및 머신 특징 `out_mas`입니다. 왼쪽에서 오른쪽으로 데이터 흐름 레이아웃을 사용하고, 모듈을 화살표로 연결하고, 각 모듈의 이름 (예: 입력 투영, 타입 임베딩, 위치 인코딩, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention 등)을 레이블링하고, 다이어그램 스타일을 간결하게 만들고 논문 발표에 적합하게 만드십시오.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)