
生成一個流程圖,主要分為三個部分。首先,針對大型模型權重和激活值的分佈不均勻,以及它們對量化雜訊的敏感性,研究基於二階敏感度分析和非均勻量化的低位元壓縮技術。其次,基於量化壓縮,研究如何自動評估不同模組(層/頭/通道)參數對最終損失函數的敏感度。通過分析梯度方差或微分推導,生成目標模型的混合精度配置策略,在量化框架內實現精度和速度的二次平衡。然後,為了確保優化模型的數值可靠性,研究適用於大型模型的高效錯誤檢測方法,對混合精度和量化操作引入的數值誤差進行傳播建模和邊界估計,並為優化策略提供精度保證。最後,研究並構建一個統一的、源到源的自動編譯框架,整合上述三項技術。該框架將整合上述三個核心技術,基於 MLIR 等中間表示,實現從模型解析、聯合優化策略搜索、錯誤分析到生成目標硬體的高效能程式碼的全自動流程。
1. 頁面標題 * 文字:系統再造 · 精準投入 · 快速獲利 策略重生計畫摘要報告 * 樣式:核心三...