提示詞描述
此圖表闡述電腦科學領域中靜態提示生成與動態提示生成之間的差異。圖例說明如下： 1. 靜態提示範例（多跳問答任務情境）：針對多跳知識問答任務「簡述唐朝科舉制度與宋朝科舉制度的核心差異及歷史影響」，靜態提示採用手動預設的固定模板。內容為「請回答以下問題：{question}。請分點闡述，並使用簡潔的語言。」此提示模板不會區分問題所涉及的歷史知識深度或推理步驟的複雜性（此問題至少需要兩個推理步驟：首先，梳理唐/宋科舉制度的核心內容，然後比較差異並分析影響）。它也不會適應所使用的大型語言模型的能力水平（例如，它不會為基礎級模型補充基本概念解釋，也不會為高級模型添加深入分析指導）。它始終以統一的表達方式作用於模型，這很容易導致基礎模型因缺乏概念基礎而無法完成推理，而高級模型則因指導不足而輸出膚淺的內容。 2. 動態提示範例（相同多跳問答任務情境）：針對上述相同問題，動態提示生成過程需要經過四個自適應階段：「任務分析 - 知識檢索 - 模型適應 - 提示生成」。首先，任務分析模組識別出該問題屬於歷史領域的多跳推理任務，需要2-3步的邏輯鏈。其次，RAG機制檢索唐朝科舉制度（如進士科的地位和不實行糊名制度）和宋朝科舉制度（如實行糊名謄錄制度和殿試制度化）的核心知識點。然後，結合所使用模型的特點（假設為中級模型），確定需要補充基本概念過渡，但沒有必要過度簡化。最後，生成動態提示：「請基於以下歷史知識完成問題分析，並分三個推理步驟回答：1. 首先，闡明唐朝科舉制度的核心特徵（參考：進士科為核心，無糊名制度，錄取人數少）；2. 然後，梳理宋朝科舉制度的關鍵變化（參考：實行糊名謄錄制度，殿試常態化，擴大錄取規模）；3. 比較兩者的核心差異，並闡述其對當時社會階層流動和官僚體系建設的歷史影響。問題：簡述唐朝科舉制度與宋朝科舉制度的核心差異及歷史影響。」此提示可以根據問題的複雜性、檢索到的知識細節和模型的能力，動態調整表達方式和推理指導邏輯。
![請生成一張清晰的方塊圖，說明以下神經網路模型的架構：模型名稱：SAT-MoE。左側有兩個輸入區塊：1) 製程特徵 `opes`，形狀為 [batch, num_opes, in_size_ope]；2) 機器特徵 `mas`，形狀為 [batch, num_mas, in_size_ma]。首先，應用兩個線性投影以獲得相同維度的隱藏表示，然後添加類型嵌入（製程類型 = 0，機器類型 = 1），並額外將位置編碼添加到製程序列。隨後，分別對兩個路徑應用 LayerNorm，然後沿序列維度將它們連接成一個長序列，該序列被饋送到堆疊的 Transformer 編碼器（自注意力、多頭注意力、前饋網路）。可以在中間連接一個混合專家（MoE）模組：一個閘控網路輸出多個 MLP 專家的權重，並且每個 token 的專家輸出被加權和求和，然後進行殘差連接和 LayerNorm。Transformer 的輸出然後根據原始的製程和機器數量拆分回兩個路徑：製程表示和機器表示。然後，依次通過兩個交叉注意力層：第一個「製程 → 機器」注意力：製程特徵用作 Query，機器特徵用作 Key/Value，以獲得更新的製程表示；第二個「機器 → 製程」注意力：機器特徵用作 Query，製程特徵用作 Key/Value，以獲得更新的機器表示。最終輸出是更新的製程特徵 `out_opes` 和機器特徵 `out_mas`。請使用從左到右的資料流佈局，用箭頭連接模組，標記每個模組的名稱（例如，輸入投影、類型嵌入、位置編碼、Transformer 編碼器、MoE、製程到機器注意力、機器到製程注意力等），並使圖表風格簡潔且適合論文展示。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FQrRrIgUwJnufqN4Havc2b4pFYV84PSTW%2F763c7d61-fe20-46a0-af4e-ddec53f57135%2F26fdf95b-f6f5-47a1-bf67-976f398ab221.png&w=3840&q=75)
![每次迭代的核心在於生成滿足約束條件的子代個體，並完成整個族群的適應度評估。這為選擇新一代族群提供了完整的基礎。此階段分為三個子步驟：生成交配子代、生成自適應突變子代，以及族群合併和批次評估。在交配子代生成中，子代大小設定為 10,000，以確保族群迭代和更新的效率。使用錦標賽選擇策略進行親代選擇，從當前族群中選擇兩個具有較好適應度的親代個體，以提高子代的整體品質。同時，交配邏輯必須滿足約束條件。具體步驟是分離親代參數的絕對值和符號，以避免在交配過程中破壞約束條件；對絕對值執行線性插值交配（隨機選擇 α∈[0,1]）以生成子代參數的絕對值；對交配後的絕對值執行非負裁剪，然後將其歸一化，以確保絕對值之和為 1；隨機繼承親代參數符號並重建完整的子代參數向量。在自適應突變子代生成中，突變子代大小設定為 1,000，以平衡族群多樣性和計算效率。通過錦標賽選擇從當前族群中選擇親代，以選擇高品質的親代個體並將其複製為突變模板。同時，突變強度隨著迭代次數從 0.05 動態衰減到 0.005，兼顧早期探索和後期精煉。對突變後的絕對值執行非負裁剪和歸一化，以確保滿足約束條件。最後，以 10% 的機率隨機翻轉參數符號，以進一步增強族群的探索能力。在族群合併和批次評估中，將當前族群 (10,000)、交配子代 (10,000) 和突變子代 (1,000) 合併到一個臨時完整族群 (21,000) 中。提取臨時族群中適應度無效的個體，並對無效個體執行批次加權綜合誤差計算，並將其分配為適應度值，以完成完整族群的適應度更新。記錄當前世代的最小適應度（最小誤差）和平均適應度（平均誤差），為迭代監控提供數據支持。](/_next/image?url=https%3A%2F%2Fpub-8c0ddfa5c0454d40822bc9944fe6f303.r2.dev%2Fai-drawings%2FXncgWQfEIJ7VYt2PJn6a3h2aOyb9nOUf%2F77e1142f-8028-491e-905e-fa27ec6c0e30%2Fb70b81d0-4503-4e08-983f-a0d0c89ad3e8.png&w=3840&q=75)