프롬프트 설명
16:9 비율의 흰색 배경에 일반적인 SCI 논문 도식 스타일로 제작된 개략도. 정보 흐름은 왼쪽에서 오른쪽으로 진행되며, 의미 계층, 중간 표현 계층, 음향 계층의 세 가지 수평 기능 밴드로 나뉩니다. 의미 계층과 T2U 모듈은 다이어그램 중앙에 위치하며, 크기와 시각적 비중이 다른 모듈보다 훨씬 높아 모델에서 차지하는 중요성을 강조합니다. ──────────────────────── 의미 계층 (상단, 핵심 구성 요소) 핵심 모듈: "Chinese BERT Encoder + Adapter + LoRA" 내부 텍스트 설명 (학문적, 간결): 입력: 중국어 텍스트 시퀀스 X 출력: 문맥 인식 의미 표현 H′ Adapter 및 LoRA를 사용한 파라미터 효율적인 미세 조정. 시각 디자인 강조 사항: 모듈은 약간 더 두꺼운 테두리와 더 넓은 영역을 가지며, 의미 모델링의 핵심 역할임을 강조합니다. 모듈은 음소, 발음 또는 대상 언어 텍스트를 포함하지 않고 추상적인 의미 표현에만 집중합니다. 연결 (핵심): 이 모듈에서 시작되는 단일 실선 화살표는 아래의 T2U 모듈을 직접 가리키며 다음과 같이 레이블이 지정됩니다. "의미 표현 → 이산 음성 단위 예측 공간" 추론 중 주요 정보 흐름을 나타냅니다. ──────────────────────── T2U 모듈 (의미 및 음향 계층 간의 중앙 허브, 시각적 중심) 모듈 이름: "T2U: Text-to-Unit & Duration Mapping" 모듈 위치 설명 (모듈 내 작은 텍스트 또는 주석): "의미 공간과 음성 공간을 연결하는 중간 인터페이스" 기능 설명 (하위 모듈로 나누지 않고 텍스트로 표현): 입력: 의미 표현 H′ 출력 1: 이산 음성 단위 시퀀스 Ũ 출력 2: 음성 단위 지속 시간 시퀀스 D̂ 모델링 의미 (SCI 스타일): T2U 모듈은 추론 중에 대상 언어 텍스트 또는 수동 음성 규칙에 의존하지 않고 중국어 의미 공간에서 언어에 구애받지 않는 이산 음성 단위 공간으로의 안정적인 매핑을 학습합니다. 연결 ( "중간 연결은 무엇입니까?"에 대한 답변에 집중): 1) 아래쪽 실선 화살표 → 음향 계층 (추론 중 예측된 단위 및 지속 시간 사용을 나타냄) 2) 중간 표현 계층에서 T2U로의 회색 점선 화살표 (훈련 중 감독 신호를 나타냄) ──────────────────────── 중간 표현 계층 (중간, 보조적이지만 중요) 모듈 체인 (수평 배열): "Raw Speech → HuBERT (Self-Supervised Speech Encoding) → k-means Clustering → 이산 음성 단위 + 시간 정렬" 기능적 위치 설명 (주석): "이 계층은 훈련 중에만 사용됩니다."
![다음 신경망 모델의 아키텍처를 명확하게 보여주는 블록 다이어그램을 생성하십시오: 모델 이름: SAT-MoE. 왼쪽에는 두 개의 입력 블록이 있습니다: 1) 형상 [batch, num_opes, in_size_ope]를 갖는 프로세스 특징 `opes`; 2) 형상 [batch, num_mas, in_size_ma]를 갖는 머신 특징 `mas`. 먼저, 두 개의 선형 투영을 적용하여 동일한 차원의 숨겨진 표현을 얻은 다음, 타입 임베딩 (프로세스 타입 = 0, 머신 타입 = 1)을 추가하고, 추가적으로 프로세스 시퀀스에 위치 인코딩을 추가합니다. 그 후, LayerNorm을 두 경로에 각각 적용하고, 시퀀스 차원을 따라 연결하여 긴 시퀀스를 만든 다음, 스택형 Transformer Encoder (self-attention, multi-head attention, feed-forward network)에 입력합니다. Mixture-of-Experts (MoE) 모듈을 중간에 연결할 수 있습니다: 게이팅 네트워크는 여러 MLP 전문가에 대한 가중치를 출력하고, 각 토큰에 대한 전문가 출력은 가중치가 적용되어 합산된 후, 잔차 연결 및 LayerNorm이 이어집니다. Transformer 출력은 원래 프로세스 및 머신 수에 따라 다시 두 경로로 분할됩니다: 프로세스 표현 및 머신 표현. 그런 다음, 두 개의 교차 어텐션 레이어를 순차적으로 통과시킵니다: 첫 번째 "프로세스 → 머신" 어텐션: 프로세스 특징은 Query로 사용되고, 머신 특징은 Key/Value로 사용되어 업데이트된 프로세스 표현을 얻습니다; 두 번째 "머신 → 프로세스" 어텐션: 머신 특징은 Query로 사용되고, 프로세스 특징은 Key/Value로 사용되어 업데이트된 머신 표현을 얻습니다. 최종 출력은 업데이트된 프로세스 특징 `out_opes` 및 머신 특징 `out_mas`입니다. 왼쪽에서 오른쪽으로 데이터 흐름 레이아웃을 사용하고, 모듈을 화살표로 연결하고, 각 모듈의 이름 (예: 입력 투영, 타입 임베딩, 위치 인코딩, Transformer Encoder, MoE, Ope-to-Machine Attention, Machine-to-Ope Attention 등)을 레이블링하고, 다이어그램 스타일을 간결하게 만들고 논문 발표에 적합하게 만드십시오.](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)