Promptの説明
16:9形式の模式図。背景は白。一般的な科学論文の模式図のスタイル。情報の流れは左から右。意味層、中間表現層、音響層の3つの水平な機能帯に分割。意味層とT2Uモジュールは図の中央に配置し、他のモジュールよりもサイズと視覚的な重みを大幅に大きくして、モデルにおける重要性を強調する。 ──────────────────────── 意味層（上部、コアコンポーネント） コアモジュール： 「Chinese BERT Encoder + Adapter + LoRA」 内部テキスト説明（学術的、簡潔）： 入力：中国語テキストシーケンス X 出力：文脈を考慮した意味表現 H′ AdapterとLoRAを用いたパラメータ効率の良いファインチューニング。 視覚デザインのハイライト： モジュールは、境界線をわずかに太くし、面積を大きくして、意味モデリングのコアとしての役割を強調。モジュールは、音素、発音、またはターゲット言語のテキストを含まず、抽象的な意味表現のみに焦点を当てる。 接続（重要）： このモジュールから1本の太い実線矢印が出て、下のT2Uモジュールに直接向かい、次のようにラベル付けされている： 「意味表現 → 離散音声ユニット予測空間」 推論時の主要な情報の流れを表す。 ──────────────────────── T2Uモジュール（意味層と音響層の中央ハブ、視覚的中心） モジュール名： 「T2U：Text-to-Unit & Duration Mapping」 モジュールの位置付けの説明（モジュール内の小さなテキストまたは注釈）： 「意味空間と音声空間を接続する中間インターフェース」 機能説明（サブモジュールに分割せず、テキストで表現）： 入力：意味表現 H′ 出力1：離散音声ユニットシーケンス Ũ 出力2：音声ユニット持続時間シーケンス D̂ モデリングの意味（科学論文スタイル）： T2Uモジュールは、推論時にターゲット言語のテキストや手動の音声規則に依存せず、中国語の意味空間から言語に依存しない離散音声ユニット空間への安定したマッピングを学習する。 接続（「中間接続は何ですか？」に焦点を当てる）： 1）下向きの実線矢印 → 音響層（推論時に予測されたユニットと持続時間を使用することを示す） 2）中間表現層からの灰色の破線矢印 → T2U（トレーニング中の教師信号を示す） ──────────────────────── 中間表現層（中央、補助的だが重要） モジュールチェーン（水平配置）： 「Raw Speech → HuBERT（自己教師あり音声エンコーディング）→ k-meansクラスタリング → 離散音声ユニット + 時間アライメント」 機能的な位置付けの説明（注釈）： 「この層はトレーニング中にのみ使用される。」
![以下のニューラルネットワークモデルのアーキテクチャを示す明確なブロック図を生成してください。モデル名：SAT-MoE。左側には2つの入力ブロックがあります：1) 形状[batch, num_opes, in_size_ope]のプロセス特徴`opes`; 2) 形状[batch, num_mas, in_size_ma]の機械特徴`mas`。まず、2つの線形射影を適用して、同じ次元の隠れ表現を取得し、次にタイプ埋め込み（プロセスタイプ=0、機械タイプ=1）を追加し、さらに位置エンコーディングをプロセスシーケンスに追加します。その後、LayerNormを両方のパスに個別に適用し、それらをシーケンス次元に沿って連結して長いシーケンスにし、それを積み重ねられたTransformer Encoder（自己注意、マルチヘッド注意、フィードフォワードネットワーク）に入力します。 Mixture-of-Experts（MoE）モジュールを途中に接続できます：ゲーティングネットワークは複数のMLPエキスパートの重みを出力し、各トークンのエキスパート出力は重み付けされて合計され、その後に残差接続とLayerNormが続きます。 Transformerの出力は、元のプロセス数と機械数に応じて、プロセス表現と機械表現の2つのパスに分割されます。次に、それらを2つのクロスアテンションレイヤーに順番に通します：最初の「プロセス→機械」アテンション：プロセス特徴はQueryとして機能し、機械特徴はKey/Valueとして機能し、更新されたプロセス表現を取得します。2番目の「機械→プロセス」アテンション：機械特徴はQueryとして機能し、プロセス特徴はKey/Valueとして機能し、更新された機械表現を取得します。最終的な出力は、更新されたプロセス特徴`out_opes`と機械特徴`out_mas`です。左から右へのデータフローレイアウトを使用し、モジュールを矢印で接続し、各モジュールの名前（入力射影、タイプ埋め込み、位置エンコーディング、Transformer Encoder、MoE、Ope-to-Machine Attention、Machine-to-Ope Attentionなど）にラベルを付け、図のスタイルを簡潔にし、論文発表に適したものにしてください。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)