Promptの説明
この図は、コンピュータサイエンスの分野における静的プロンプト生成と動的プロンプト生成の違いを示しています。図中の例は以下の通りです。 1. 静的プロンプトの例（マルチホップ質問応答タスクのシナリオ）：マルチホップ知識質問応答タスク「唐朝の科挙制度と宋朝の科挙制度の核心的な違いと歴史的影響を簡潔に説明してください」に対して、静的プロンプトは手動で事前に設定された固定テンプレートを使用します。内容は「以下の質問に答えてください：{質問}。箇条書きで簡潔に説明してください。」このプロンプトテンプレートは、質問に含まれる歴史的知識の深さや、推論ステップの複雑さ（この質問は少なくとも2つのステップの推論が必要です：まず、唐/宋朝の科挙制度の核心的な内容を整理し、次に違いを比較して影響を分析する）を区別しません。また、使用する大規模言語モデルの能力レベルにも適応しません（例えば、基礎レベルのモデルには基本的な概念の説明を補足せず、高度なモデルには詳細な分析ガイダンスを追加しません）。常に統一された表現でモデルに働きかけるため、基礎モデルは概念的な基礎知識の不足により推論を完了できず、高度なモデルは不十分なガイダンスにより表面的な内容を出力する可能性があります。 2. 動的プロンプトの例（同じマルチホップ質問応答タスクのシナリオ）：上記の同じ質問に対して、動的プロンプト生成プロセスは、「タスク分析 - 知識検索 - モデル適応 - プロンプト生成」の4つの適応段階を経る必要があります。まず、タスク分析モジュールは、質問が歴史分野のマルチホップ推論タスクに属し、2〜3ステップの論理チェーンが必要であることを識別します。次に、RAGメカニズムは、唐朝の科挙制度（進士科の地位や糊名制度の不実施など）と宋朝の科挙制度（糊名抄写制度の実施や殿試の制度化など）の核心的な知識点を検索します。そして、使用するモデルの特性（中間レベルのモデルを想定）と組み合わせて、基本的な概念の移行を補足する必要があるが、過度の単純化は不要であると判断します。最後に、動的プロンプトが生成されます：「以下の歴史的知識に基づいて質問分析を完了し、3つの推論ステップで答えてください：1. まず、唐朝の科挙制度の核心的な特徴を明確にしてください（参考：進士科が中心、糊名制度なし、合格者数が少ない）。2. 次に、宋朝の科挙制度の重要な変化を整理してください（参考：糊名抄写制度の実施、殿試の正常化、合格者数の拡大）。3. 両者の核心的な違いを比較し、当時の社会階層の流動性と官僚制度の構築に対する歴史的影響を詳しく説明してください。質問：唐朝の科挙制度と宋朝の科挙制度の核心的な違いと歴史的影響を簡潔に説明してください。」このプロンプトは、質問の複雑さ、検索された知識の詳細、およびモデルの能力に応じて、表現と推論ガイダンスロジックを動的に調整できます。
![以下のニューラルネットワークモデルのアーキテクチャを示す明確なブロック図を生成してください。モデル名：SAT-MoE。左側には2つの入力ブロックがあります：1) 形状[batch, num_opes, in_size_ope]のプロセス特徴`opes`; 2) 形状[batch, num_mas, in_size_ma]の機械特徴`mas`。まず、2つの線形射影を適用して、同じ次元の隠れ表現を取得し、次にタイプ埋め込み（プロセスタイプ=0、機械タイプ=1）を追加し、さらに位置エンコーディングをプロセスシーケンスに追加します。その後、LayerNormを両方のパスに個別に適用し、それらをシーケンス次元に沿って連結して長いシーケンスにし、それを積み重ねられたTransformer Encoder（自己注意、マルチヘッド注意、フィードフォワードネットワーク）に入力します。 Mixture-of-Experts（MoE）モジュールを途中に接続できます：ゲーティングネットワークは複数のMLPエキスパートの重みを出力し、各トークンのエキスパート出力は重み付けされて合計され、その後に残差接続とLayerNormが続きます。 Transformerの出力は、元のプロセス数と機械数に応じて、プロセス表現と機械表現の2つのパスに分割されます。次に、それらを2つのクロスアテンションレイヤーに順番に通します：最初の「プロセス→機械」アテンション：プロセス特徴はQueryとして機能し、機械特徴はKey/Valueとして機能し、更新されたプロセス表現を取得します。2番目の「機械→プロセス」アテンション：機械特徴はQueryとして機能し、プロセス特徴はKey/Valueとして機能し、更新された機械表現を取得します。最終的な出力は、更新されたプロセス特徴`out_opes`と機械特徴`out_mas`です。左から右へのデータフローレイアウトを使用し、モジュールを矢印で接続し、各モジュールの名前（入力射影、タイプ埋め込み、位置エンコーディング、Transformer Encoder、MoE、Ope-to-Machine Attention、Machine-to-Ope Attentionなど）にラベルを付け、図のスタイルを簡潔にし、論文発表に適したものにしてください。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![各イテレーションの中核は、制約条件を満たす子個体を生成し、集団全体の適合度評価を完了することにある。これにより、集団の新しい世代を選択するための完全な基盤が提供される。この段階は、交叉子個体の生成、適応的突然変異子個体の生成、集団の統合とバッチ評価という3つのサブステップに分けられる。交叉子個体の生成では、集団の反復と更新の効率を確保するために、子個体のサイズを10,000に設定する。トーナメント選択戦略を用いて親を選択し、現在の集団からより良い適合度を持つ2つの親個体を選択して、子個体の全体的な質を向上させる。同時に、交叉ロジックは制約条件を満たす必要がある。具体的な手順は、交叉プロセス中に制約条件が破壊されるのを避けるために、親パラメータの絶対値と符号を分離することである。絶対値に対して線形補間交叉（α∈[0,1]はランダムに選択される）を実行して、子パラメータの絶対値を生成する。交叉された絶対値に対して非負のクリッピングを実行し、その後、絶対値の合計が1になるように正規化する。親パラメータの符号をランダムに継承し、完全な子パラメータベクトルを再構築する。適応的突然変異子個体の生成では、集団の多様性と計算効率のバランスを取るために、突然変異子個体のサイズを1,000に設定する。親は、高品質の親個体を選択し、それを突然変異テンプレートとしてクローン化するために、トーナメント選択を通じて現在の集団から選択される。同時に、突然変異強度は、初期の探索と後期の洗練を考慮して、反復回数とともに0.05から0.005まで動的に減衰する。制約条件が満たされるように、突然変異した絶対値に対して非負のクリッピングと正規化が実行される。最後に、集団の探索能力をさらに高めるために、パラメータの符号は10％の確率でランダムに反転される。集団の統合とバッチ評価では、現在の集団（10,000）、交叉子個体（10,000）、および突然変異子個体（1,000）が一時的な完全集団（21,000）に統合される。一時的な集団内の無効な適合度を持つ個体が抽出され、無効な個体に対してバッチ加重総合誤差計算が実行され、適合度値として割り当てられて、完全な集団の適合度更新が完了する。現在の世代の最小適合度（最小誤差）と平均適合度（平均誤差）が記録され、反復監視のためのデータサポートが提供される。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)