Promptの説明

モデルのワークフローを示す図。左側には車両の軌跡と環境認識シーンが描かれている。図は、薄い灰色の道路平面と、複数の色の車のアイコン（赤は自車両、青/緑は周囲の車両）で構成される。自車両の過去の軌跡は、太い実線の矢印で示され、周囲の車両の動的な影響範囲は、破線の円で囲まれている。車線などの道路構造は、細い灰色の線または小さなアイコンで示されている。全体として、システムへの入力は、自車両の過去の経路、近隣車両の運動状態、静的な道路トポロジーを含むマルチモーダルな観測データで構成される。 次に、プロセスは第2段階、特徴抽出モジュールに入る。これは、時空間インタラクション特徴とドライバーの意図特徴という2つの並列パスに分割される。 上側のパスは、時空間インタラクション特徴抽出用である。 自車両の過去の座標（x_t, y_t）は、GRUエンコーダを表す3つの青い3Dキューブブロックのセットに入力され、「時間的インタラクション特徴」とラベル付けされ、時間的特徴f_e^tを出力する。同時に、周囲の車両と道路構造は、GATグラフ注意ネットワークを表す黄色い3Dキューブブロックのセットに入力され、「空間的インタラクション特徴」とラベル付けされ、空間的特徴f_e^sを出力する。これらは、緑色の台形モジュールを介して連結され、「Concat(f_e^t, f_e^s)」とラベル付けされ、最終的に外部インタラクション特徴f_eを出力する。 下側のパスは、ドライバーの意図特徴抽出用である。 過去の軌跡Xは、「Destination Decoder」とラベル付けされたオレンジ色の長方形のボックスに入力され、予測された目的地D̂を出力する。その後、出力は2つの並列な長方形モジュールを通過する。1つは「History Feature (f_his)」とラベル付けされた水色の長方形、もう1つは「Destination Feature (f_des)」とラベル付けされた薄紫色の長方形であり、MLPによって特徴が抽出される。これらの特徴は、緑色の台形モジュールに入力され、「Attention Fusion」とラベル付けされ、内部的にはQKV注意メカニズムの式が暗示され、融合されたドライバーの意図特徴f_inを出力する。 第3段階は、時空間特徴融合モジュールである。 f_inとf_eは連結されて混合特徴h_fusとなり、「Mamba Fusion Module」とラベル付けされた濃い青色の台形モジュールに入力される。このモジュールは、Mambaアーキテクチャを利用して、長距離依存性を効率的にモデル化し、最終的な融合特徴f_fusを出力する。視覚的には、このモジュールは、そのシーケンスモデリング能力を強調するために、波状のテクスチャまたは「M」の記号を取り入れることができる。 第4段階は、条件付きノイズ生成モジュールである。 f_fusは、2つの並列なオレンジ色の台形モジュールに入力される。左側のモジュールは「Mean Decoder (μ̄_θ)」、右側のモジュールは「Std Decoder (σ̄_θ)」とラベル付けされている。これらの2つのモジュールは、ガイド付きノイズ分布を共同で定義する。出力は、波状のテクスチャの背景を持つ長方形のボックスに接続され、「Guided ""」とラベル付けされている。