ギャラリーに戻る
AI & システム
Promptの説明
中国国家自然科学基金の研究フレームワークに基づき、研究テーマは暗黙的フィードバック推薦のためのデータ拡張技術である。研究内容は以下の3点である。（1）大規模モデルに基づく適応的なデータ生成およびフィルタリング手法、（2）協調的パラダイム下でのノイズデータマイニングおよび修正手法、（3）マルチ行動推薦における因果的デバイアス手法。主要な3つの問題点は、（1）生成されたデータの品質最適化、（2）ノイズデータの識別メカニズム、（3）複数の行動間の因果関係モデリングである。研究目標は、ロバストな推薦システムを構築することである。研究フレームワーク図を描画してください。
![以下のニューラルネットワークモデルのアーキテクチャを示す明確なブロック図を生成してください。モデル名：SAT-MoE。左側には2つの入力ブロックがあります：1) 形状[batch, num_opes, in_size_ope]のプロセス特徴`opes`; 2) 形状[batch, num_mas, in_size_ma]の機械特徴`mas`。まず、2つの線形射影を適用して、同じ次元の隠れ表現を取得し、次にタイプ埋め込み（プロセスタイプ=0、機械タイプ=1）を追加し、さらに位置エンコーディングをプロセスシーケンスに追加します。その後、LayerNormを両方のパスに個別に適用し、それらをシーケンス次元に沿って連結して長いシーケンスにし、それを積み重ねられたTransformer Encoder（自己注意、マルチヘッド注意、フィードフォワードネットワーク）に入力します。 Mixture-of-Experts（MoE）モジュールを途中に接続できます：ゲーティングネットワークは複数のMLPエキスパートの重みを出力し、各トークンのエキスパート出力は重み付けされて合計され、その後に残差接続とLayerNormが続きます。 Transformerの出力は、元のプロセス数と機械数に応じて、プロセス表現と機械表現の2つのパスに分割されます。次に、それらを2つのクロスアテンションレイヤーに順番に通します：最初の「プロセス→機械」アテンション：プロセス特徴はQueryとして機能し、機械特徴はKey/Valueとして機能し、更新されたプロセス表現を取得します。2番目の「機械→プロセス」アテンション：機械特徴はQueryとして機能し、プロセス特徴はKey/Valueとして機能し、更新された機械表現を取得します。最終的な出力は、更新されたプロセス特徴`out_opes`と機械特徴`out_mas`です。左から右へのデータフローレイアウトを使用し、モジュールを矢印で接続し、各モジュールの名前（入力射影、タイプ埋め込み、位置エンコーディング、Transformer Encoder、MoE、Ope-to-Machine Attention、Machine-to-Ope Attentionなど）にラベルを付け、図のスタイルを簡潔にし、論文発表に適したものにしてください。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![各イテレーションの中核は、制約条件を満たす子個体を生成し、集団全体の適合度評価を完了することにある。これにより、集団の新しい世代を選択するための完全な基盤が提供される。この段階は、交叉子個体の生成、適応的突然変異子個体の生成、集団の統合とバッチ評価という3つのサブステップに分けられる。交叉子個体の生成では、集団の反復と更新の効率を確保するために、子個体のサイズを10,000に設定する。トーナメント選択戦略を用いて親を選択し、現在の集団からより良い適合度を持つ2つの親個体を選択して、子個体の全体的な質を向上させる。同時に、交叉ロジックは制約条件を満たす必要がある。具体的な手順は、交叉プロセス中に制約条件が破壊されるのを避けるために、親パラメータの絶対値と符号を分離することである。絶対値に対して線形補間交叉（α∈[0,1]はランダムに選択される）を実行して、子パラメータの絶対値を生成する。交叉された絶対値に対して非負のクリッピングを実行し、その後、絶対値の合計が1になるように正規化する。親パラメータの符号をランダムに継承し、完全な子パラメータベクトルを再構築する。適応的突然変異子個体の生成では、集団の多様性と計算効率のバランスを取るために、突然変異子個体のサイズを1,000に設定する。親は、高品質の親個体を選択し、それを突然変異テンプレートとしてクローン化するために、トーナメント選択を通じて現在の集団から選択される。同時に、突然変異強度は、初期の探索と後期の洗練を考慮して、反復回数とともに0.05から0.005まで動的に減衰する。制約条件が満たされるように、突然変異した絶対値に対して非負のクリッピングと正規化が実行される。最後に、集団の探索能力をさらに高めるために、パラメータの符号は10％の確率でランダムに反転される。集団の統合とバッチ評価では、現在の集団（10,000）、交叉子個体（10,000）、および突然変異子個体（1,000）が一時的な完全集団（21,000）に統合される。一時的な集団内の無効な適合度を持つ個体が抽出され、無効な個体に対してバッチ加重総合誤差計算が実行され、適合度値として割り当てられて、完全な集団の適合度更新が完了する。現在の世代の最小適合度（最小誤差）と平均適合度（平均誤差）が記録され、反復監視のためのデータサポートが提供される。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)