提示词描述

请生成一个清晰的框图，说明以下神经网络模型的架构：模型名称：SAT-MoE。左侧有两个输入块：1) 过程特征 `opes`，形状为 [batch, num_opes, in_size_ope]；2) 机器特征 `mas`，形状为 [batch, num_mas, in_size_ma]。首先，应用两个线性投影以获得相同维度的隐藏表示，然后添加类型嵌入（过程类型 = 0，机器类型 = 1），并额外将位置编码添加到过程序列。随后，分别对两条路径应用 LayerNorm，然后沿序列维度将它们连接成一个长序列，该序列被馈送到堆叠的 Transformer 编码器（自注意力，多头注意力，前馈网络）。可以在中间连接一个混合专家（MoE）模块：一个门控网络输出多个 MLP 专家的权重，每个 token 的专家输出被加权求和，然后进行残差连接和 LayerNorm。Transformer 的输出然后根据原始的过程和机器数量拆分回两条路径：过程表示和机器表示。然后，依次通过两个交叉注意力层：第一个“过程 → 机器”注意力：过程特征作为 Query，机器特征作为 Key/Value，以获得更新的过程表示；第二个“机器 → 过程”注意力：机器特征作为 Query，过程特征作为 Key/Value，以获得更新的机器表示。最终输出是更新的过程特征 `out_opes` 和机器特征 `out_mas`。请使用从左到右的数据流布局，用箭头连接各个模块，标记每个模块的名称（例如，输入投影、类型嵌入、位置编码、Transformer 编码器、MoE、过程到机器注意力、机器到过程注意力等），并使图表风格简洁，适合论文展示。