每個 AI 任務都要用最強模型？Knowledge Distillation 如何幫企業降低推論成本

公司已經把 AI 用在客服分類、報價摘要、品管紀錄與內部問答，使用量增加後，主管才發現成本未必隨模型價格下降而減少。若某些工作規則穩定、答案可以驗收，企業可能不需要讓每一次簡單任務都由高成本模型處理。Knowledge Distillation（知識蒸餾）提供了一條路徑：讓能力較強的教師模型協助訓練較小的學生模型，但是否值得做，必須先驗證品質、維護成本與資料使用權。

專題編輯：Derek Chou｜AI 技術與架構編輯

一、知識蒸餾不是摘要文件，也不是更好的提示詞

模型蒸餾的核心概念，是把教師模型對任務的預測或輸出轉成學生模型可學習的訊號。早期研究探討以教師模型輸出的機率分布與軟目標，訓練較小模型重現教師能力；現代生成式 AI 流程也可能使用教師產生的輸入輸出樣本訓練學生模型。兩者實作細節不同，不能把「讓 AI 讀一份文件」稱為模型蒸餾。來源一、來源二

提示詞（Prompt） 是讓現有模型依指令完成任務；檢索（RAG） 是每次執行時取得外部事實；微調（Fine-tuning） 是使用訓練資料改變模型參數；知識蒸餾 則著重讓學生模型學到教師在特定任務上的行為。知識蒸餾可搭配微調技術完成，但不是所有微調都屬於蒸餾。

一家企業只要希望在同一部門共享 SOP，通常先做好文件管理與權限化檢索就可以，不必直接投入蒸餾。真正值得評估的，是大量重複且輸出可衡量的任務，例如郵件路由、品項標準化分類、固定格式資料擷取。對內容極常變動、答案高度依賴最新法規或個別客戶狀態的任務，即使學生模型學過相似案例，也不應取代最新來源與權限查詢。

二、適合蒸餾的任務有四個特徵

第一，需求穩定。企業可以明確定義輸入欄位、輸出格式與錯誤分類，不會每兩天推翻規則。第二，任務高頻，否則訓練與維護成本難以回收。第三，能取得具使用權的標註資料、人工標準答案或合格教師輸出。第四，可以容忍學生模型在特定難題上回退給較強模型或人工處理。

以 B2B 客戶來信分類為例，目標不是讓學生模型寫出一篇漂亮的回覆，而是辨識 詢價、售後、技術支援 與 無法判定，並輸出可信度與分類依據。這類輸出相對容易與人工標準答案比對。反過來說，若任務是判斷一份複雜合約是否可能造成跨國法律責任，單靠廉價小模型接管高風險最終判斷就不適合。

三、企業 PoC 的七個步驟

1. 縮小任務範圍。 只選一個流程，例如「進線郵件分類」，不以「培養一個懂全公司業務的小模型」作為第一個目標。
2. 建立人工基準。 從合法可用且已適當去識別的資料中，整理不同類型、邊界與例外案例。把標準答案交由領域負責人確認。
3. 建立教師輸出。 選定較強的教師模型，在相同輸入上產生結構化輸出，記錄模型版本、提示詞與標籤規則。教師也會出錯，不能把輸出直接當真理。
4. 清理訓練資料。 移除個資、測試資料洩漏、錯誤標籤、重複樣本；確認模型供應商是否允許此類資料與產出用於訓練其他模型。
5. 訓練或調整學生模型。 依部署環境、授權與資料量選擇適當方法，不必先追求最小參數數量。
6. 使用未見過的測試集。 按類別檢查精確率、召回率、格式正確率、拒答能力與錯誤成本，特別測試低頻但嚴重的分類錯誤。
7. 設計回退及監控。 設定無法判定時升級教師模型或人工處理，並監控模型升版、規則變更與資料分布漂移。

Google Cloud 的模型調整文件提供教師與學生模型的實務流程及評估概念，但不同平台支援的模型與訓練方法可能變動，採購前應以當下實際文件和條款核對。來源三

四、管理者真正要算的不是 Token 單價

模型推論成本只是總成本的一部分。採用蒸餾後，還有資料清理、標註、訓練、部署、資安、監控、回退及重訓費用。以下以純假設數字示範，並非任何供應商報價或實際企業成效：

在以上假設之下，每月淨節省為 NT$36,000，一次性投入的簡單回收期為 5 個月。計算式為：40,000 ×（1.50－0.30）－12,000＝36,000；180,000 ÷ 36,000＝5。這還沒有納入品質下降造成的返工與錯誤損失，不能因此直接宣稱蒸餾必定省錢。

假如學生模型有 8％ 的任務必須回退到教師模型，就要將回退成本與人工複核成本重新加回；如果品質失敗會導致客訴、錯誤出貨或金融損失，企業應先把這些錯誤分級，再計算實際收益。

五、可以直接複製的模型評估表

任務名稱：
業務 Owner：
目前每月處理量：
教師模型與版本：
學生模型與版本：
資料集權利與敏感資料檢查：
訓練／驗證／測試資料分隔方式：
主要品質指標：
重大錯誤定義與允許上限：
學生模型無法判定時的回退規則：
每次合格任務完整成本：
一次性建置成本：
每月維護與重新驗證成本：
停用條件與回滾版本：
核准人：

尤其要把「每次合格任務成本」作為主指標，而不是每百萬 Token 的帳面價格。若模型輸出失敗 1 次就要人工修正 20 分鐘，再便宜的推論也可能不划算。

六、三個常見誤判

誤判一：學生模型越小越好。 模型越小不必然代表整體成本最低，可能增加不合格答案與回退次數。誤判二：教師模型輸出足夠多就可以直接訓練。 數量無法替代正確標註、權利與測試集隔離。誤判三：蒸餾一次便能長期使用。 當產品編碼、客服政策或語言風格改變，學生模型的行為仍需再驗證。

決策順序應是先優化提示詞、輸出結構、檢索與模型路由，再判斷是否真的需要訓練學生模型。知識蒸餾最適合成為可測量的工程投資，而不是企業採購 AI 的第一個流行名詞。

延伸閱讀與來源

1. Hinton、Vinyals、Dean，Distilling the Knowledge in a Neural Network（2015）。
2. Google Developers，LLM Fine-tuning, Distillation, and Prompt Engineering。
3. Google Cloud，Supervised and Distillation Fine-tuning。

本文成本為教學假設，非實測節省或商業保證。主圖為原創生成概念插畫，非模型內部結構的真實攝影。

可下載工作範本

下載假設成本計算表（ZIP）。範本為教學示例，採用前請填入經核准的真實資料。

相關閱讀

延伸閱讀：不能帶真實客戶資料進教室，AI 內訓就只能聽課？用合成資料做出可驗收的實戰成果