提示词描述
一个16:9比例的示意图，白色背景，风格模仿常见的SCI论文示意图。信息流从左到右，分为三个水平的功能层：语义层、中间表示层和声学层。语义层和T2U模块位于图的中心，其尺寸和视觉权重明显高于其他模块，以强调它们在模型中的重要性。 ──────────────────────── 语义层（顶部，核心组件） 核心模块： “中文BERT编码器 + Adapter + LoRA” 内部文本描述（学术，简洁）： 输入：中文文本序列 X 输出：上下文相关的语义表示 H′ 使用Adapter和LoRA进行参数高效的微调。 视觉设计亮点： 该模块具有稍厚的边框和更大的面积，强调其作为语义建模核心的作用。该模块仅关注抽象的语义表示，不涉及音素、发音或目标语言文本。 连接（关键）： 从该模块发出一个单独的实线箭头，直接指向下方的T2U模块，标记为： “语义表示 → 离散语音单元预测空间” 表示推理过程中的主要信息流。 ──────────────────────── T2U模块（语义层和声学层之间的中心枢纽，视觉中心） 模块名称： “T2U：文本到单元 & 时长映射” 模块定位描述（模块内的小文本或注释）： “连接语义空间和语音空间的中间接口” 功能描述（不分为子模块，用文本表达）： 输入：语义表示 H′ 输出1：离散语音单元序列 Ũ 输出2：语音单元时长序列 D̂ 建模意义（SCI风格）： T2U模块学习从中文语义空间到与语言无关的离散语音单元空间的稳定映射，在推理过程中不依赖于目标语言文本或手动语音规则。 连接（重点回答“中间连接是什么？”）： 1) 向下实线箭头 → 声学层（指示推理过程中使用预测的单元和时长） 2) 从中间表示层发出的灰色虚线箭头 → T2U（指示训练期间的监督信号） ──────────────────────── 中间表示层（中间，辅助但关键） 模块链（水平排列）： “原始语音 → HuBERT（自监督语音编码） → k-means聚类 → 离散语音单元 + 时间对齐” 功能定位描述（注释）： “此层仅在训练期间使用。”
![请生成一个清晰的框图，说明以下神经网络模型的架构：模型名称：SAT-MoE。左侧有两个输入块：1) 过程特征 `opes`，形状为 [batch, num_opes, in_size_ope]；2) 机器特征 `mas`，形状为 [batch, num_mas, in_size_ma]。首先，应用两个线性投影以获得相同维度的隐藏表示，然后添加类型嵌入（过程类型 = 0，机器类型 = 1），并额外将位置编码添加到过程序列。随后，分别对两条路径应用 LayerNorm，然后沿序列维度将它们连接成一个长序列，该序列被馈送到堆叠的 Transformer 编码器（自注意力，多头注意力，前馈网络）。可以在中间连接一个混合专家（MoE）模块：一个门控网络输出多个 MLP 专家的权重，每个 token 的专家输出被加权求和，然后进行残差连接和 LayerNorm。Transformer 的输出然后根据原始的过程和机器数量拆分回两条路径：过程表示和机器表示。然后，依次通过两个交叉注意力层：第一个“过程 → 机器”注意力：过程特征作为 Query，机器特征作为 Key/Value，以获得更新的过程表示；第二个“机器 → 过程”注意力：机器特征作为 Query，过程特征作为 Key/Value，以获得更新的机器表示。最终输出是更新的过程特征 `out_opes` 和机器特征 `out_mas`。请使用从左到右的数据流布局，用箭头连接各个模块，标记每个模块的名称（例如，输入投影、类型嵌入、位置编码、Transformer 编码器、MoE、过程到机器注意力、机器到过程注意力等），并使图表风格简洁，适合论文展示。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)