文章屬性 :科技冷知識 / 規格解析 核心結論 :模型蒸餾是讓小模型去模仿大模型的「整份機率分布」,學的是老師對每個選項的信心比例,不是只學正確答案;它縮的是參數量,和量化縮位元數是兩件事。 適用對象 :看到 Distill、蒸餾版就一頭霧水,想知道這種模型能不能拿來用的人 一句話答案 :模型蒸餾是拿訓練好的大模型當老師,讓小模型去模仿它輸出的完整機率分布,把大模型的判斷習慣壓進小骨架裡的訓練方法。 打開 Hugging Face 隨便逛,名字裡帶 Distill 的模型多到看不完:DistilBERT、DeepSeek-R1-Distill-Qwen-7B、各家自己的 distilled 版本。第一次看到的人幾乎都會有同一個誤會——以為蒸餾版就是「原模型的縮小版」,像把一張圖片存成小尺寸那樣。 不是。模型蒸餾的正式說法是知識蒸餾(Knowledge Distillation),它是 一種訓練方法 ,不是壓縮工具。整個過程要重新訓練一個模型,只是訓練時的參考答案不是人類標好的標準答案,而是另一個更大、更強的模型吐出來的完整輸出。 這篇要先講清楚三件中文圈最常搞混的事,後面再展開: 蒸餾學的是「錯誤選項之間的相對機率」 ,不是正確答案本身——這正是它跟一般訓練最根本的差別。 2026 年的「Distill」已經一詞多義 :Hinton 那套對齊 logit 的原始蒸餾,跟現在大語言模型常見的「拿老師生成的資料去做 SFT」,做法差很多,名字卻共用。 蒸餾版模型的骨架通常不是原模型 。DeepSeek-R1-Distill-Qwen-7B 的底子是 Qwen2.5,不是 R1 縮小版——這件事官方模型卡寫得很清楚,但幾乎沒人去看。 軟標籤:老師交出來的不是答案,是一整排信心分數 一般訓練用的是硬標籤(hard label):這張圖是貓,標籤就是「貓=1、狗=0、卡車=0」。模型只知道答案,不知道這題有多接近。 蒸餾改用老師模型 softmax 之後的完整機率分布當目標,例如「貓 0.9、狗 0.09、卡車 0.00001」。狗和卡車都是錯的,但 錯的程度差了四個數量級 ——這句「狗比卡車更像貓」是大模型從海量資料裡學到、卻沒辦法寫進標準答案的資訊。Hinton、Vinyals 與 Dean 在 2015 年那篇 Distilling the Knowledge in a Neural Network 裡把整套做法系統化,論文摘要也自陳這是延續 Caruana 團隊「把整組模型的知識壓進單一模型」的壓縮路線,只是換了不同的壓縮技術。 那篇論文最實際的成果不是 MNIST,而是 顯著改善了一個被大量使用的商用系統的聲學模型 ——蒸餾從第一天起就是為了佈署,不是為了刷榜。 溫度 T:把機率分布「泡開」的旋鈕 問題來了:如果老師太有自信,輸出變成「貓 0.9999、狗 0.00009」,那些細微差異在數值上幾乎等於零,學生根本學不到東西。 解法是在 softmax 前把每個 logit 除以一個溫度參數 T。T 越大,分布被拉得越平坦,原本被壓在小數點後好幾位的差異就浮出來;T=1 就退回一般的 softmax。訓練學生時老師和學生都用同一個 T,推論時再把 T 調回 1。這個「溫度」的比喻正是蒸餾這個名字的由來——加溫,讓輕的東西先跑出來。 實作上學生同時被兩股力量拉:一股是跟老師軟標籤比對的損失(高溫下算),一股是跟真實標籤比對的一般損失(常溫下算),兩者加權相加。前者傳遞老師的判斷習慣,後者確保學生不會連老師的錯誤一起照抄。 值得注意的是, 老師在整個過程中完全不動 ,只負責產生目標;真正被更新權重的只有學生。所以蒸餾的訓練成本是「跑一次老師推論 + 訓練一個小模型」,而不是重訓一個大模型。 從對齊 logit 到序列蒸餾:大語言模型時代的變形 到了自回歸的大語言模型,原始做法遇到一個結構性問題:訓練時學生看到的是固定的參考序列,推論時卻要吃自己生成的內容,兩者分布對不上,錯誤會一路累積。 Hugging Face 的 TRL 套件把改良版做成了現成訓練器。以 官方 GKD Trainer 文件 為例,Generalized Knowledge Distillation 的做法是讓學生先自己生成一段輸出,再請老師針對這段學生自己寫的內容給逐 token 的回饋,直接把訓練與推論的落差補起來。文件列出三個關鍵參數: lmbda :學生自產資料的比例。設 0.0 時用資料集裡固定的序列訓練、逐 token 對齊老師的機率;設 1.0 則全部改吃學生自己生成的序列。要變成「完全拿老師生成的序列來教」,得另外把下面的 seq_kd 打開——這兩個參數的分工最容易被混為一談。官方文件寫明作者發現 偏 on-policy(lmbda 高)效果較好 。 beta :廣義 Jensen-Shannon 散度的內插係數,0.0 時退化成 KL 散度、1.0 時是反向 KL。 seq_kd :開啟後改做序列級蒸餾,等同於「拿老師生成的輸出去做監督式微調」。 TRL 目前把 GKD 歸在 trl.experimental.gkd 這個實驗性命名空間底下,另有獨立的 Distillation、GOLD、MiniLLM 等訓練器並存—— 光是 2026 年的官方文件裡就有好幾種叫法不同的蒸餾 ,看到「蒸餾」兩個字時,先問是哪一種。 🔀 蒸餾、量化、剪枝:三種縮小手段差在哪 這是最常被混為一談的一組概念。三者都讓模型變小,但動到的東西完全不同: 蒸餾改架構、量化改表示法 。7B 蒸餾成 1.5B 是參數少了;7B 從 FP16 量化成 Q4 是參數還在、每個數字存得比較短。 兩者可以疊加 ,而且實務上幾乎都疊加——你在 Ollama、LM Studio 下載到的 DeepSeek-R1-Distill-Qwen-7B GGUF,就是「先蒸餾、再量化」的雙重產物。量化怎麼看,可參考站內的〈 本地 LLM 模型怎麼選?7B/70B、Q4/Q8 量化與 VRAM 一次搞懂 〉。 蒸餾跟微調也不是同一件事 。微調是在既有權重上做小幅修正(像 LoRA 那種低秩微調 ),骨架大小不變;蒸餾是換小骨架從頭學。 剪枝一欄是定義性描述,本文未引用任何剪枝的效能數字。 🏷️ 你會在模型列表看到的三個蒸餾家族 DistilBERT:把蒸餾往前搬到預訓練階段 2019 年由 Hugging Face 團隊發表的 DistilBERT ,是最常被引用的教科書案例。論文摘要載明: 體積比 BERT 小 40%、保留 97% 的語言理解能力、速度快 60% 。 它的關鍵不只在數字,而在做法——先前多數研究是針對特定任務做蒸餾,DistilBERT 把蒸餾拉到 預訓練階段 ,做出一個通用的小型語言表徵模型,之後照樣可以微調到各種任務。訓練上用了語言模型損失、蒸餾損失與餘弦距離損失的三重損失組合。 Gemma 3:大廠把蒸餾寫進標準配方 Google 在 2025 年 3 月 12 日的 Gemma 3 開發者指南 裡,直接把蒸餾列為模型煉製流程的一環:預訓練與後訓練都用上了蒸餾、強化學習與模型合併的組合。後訓練四個元件中的第一個,就是「 從一個更大的 instruct 模型蒸餾進 Gemma 3 的預訓練檢查點 」。 Gemma 3 提供 1B、4B、12B、27B 四種尺寸,官方部落格寫明訓練 token 數分別為 2T、4T、12T、14T。這代表一件事: 蒸餾在 2026 年不是省錢的替代方案,而是前沿模型的標準工序 ——連 27B 這種尺寸都在用。

DeepSeek-R1-Distill:名字最容易誤導的一家 這組模型最值得拿出來講,因為它跟多數人的直覺相反。翻開 官方模型卡 的下載表格: DeepSeek-R1-Distill-Qwen-1.5B / 7B → 基座是 Qwen2.5-Math 的 1.5B / 7B DeepSeek-R1-Distill-Qwen-14B / 32B → 基座是 Qwen2.5 的 14B / 32B DeepSeek-R1-Distill-Llama-8B → 基座是 Llama-3.1-8B DeepSeek-R1-Distill-Llama-70B → 基座是 Llama-3.3-70B-Instruct 換句話說,你下載的不是「小號 R1」,而是 被 R1 教過的 Qwen 或 Llama 。官方說明寫得很直白:這些模型是用 DeepSeek-R1 產生的推理資料去微調開源模型而成,Qwen 系列那幾個用了 80 萬筆由 R1 整理出來的樣本 。這正是前面說的序列級蒸餾——老師生成資料,學生做監督式微調,沒有對齊 logit 那一套。 效果如何?官方公布的評測表中,DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024 的 pass@1 為 72.6 ,MATH-500 為 94.3 ;同表的 OpenAI o1-mini 分別是 63.6 與 90.0。小模型在特定領域超車大模型,靠的就是老師把推理軌跡整包餵過來。代價是 偏科 :這些數字集中在數學與程式,不代表通用能力同步跟上。 ⚖️ 為什麼廠商愛出蒸餾版?以及 2026 年的爭議 廠商的動機很直接:推論成本、記憶體佔用與延遲都跟參數量直接掛鉤,而多數使用者的多數請求根本用不到旗艦模型的全部能力。蒸餾讓廠商可以用旗艦模型當老師,量產一整排能塞進手機、筆電與便宜 GPU 的小模型,而且這些小模型的「說話風格」與旗艦模型一致——這對產品線一致性來說很值錢。 但同一套技術,換個對象用就變成爭議。2026 年 2 月,Anthropic 發布 Detecting and preventing distillation attacks ,指出該公司偵測到三家 AI 實驗室——DeepSeek、Moonshot 與 MiniMax——以工業規模擷取 Claude 的能力:透過約 24,000 個造假帳號 、產生超過 1,600 萬次對話 ,目標鎖定 Claude 的代理式推理、工具使用與程式能力,違反其服務條款與地區存取限制。Anthropic 表示是透過 IP 關聯、請求中繼資料與基礎設施指標完成歸因。 請注意這段的性質 :以上是 Anthropic 單方面公布的調查結果與指控,本文撰稿時未取得被點名三家業者的官方回應,也尚未見到司法認定。這裡要區分的是兩件不同的事: 蒸餾這個技術本身完全合法 ,而且開源社群大方鼓勵。DeepSeek-R1 自己的模型卡就明文寫著 MIT 授權「支援商業使用、允許任何修改與衍生作品,包括為訓練其他大語言模型而進行蒸餾」。 有爭議的是資料怎麼來的 。用你有權使用的模型輸出去蒸餾,沒問題;繞過存取限制大量抓取別人的 API 輸出,爭的是服務條款與營業秘密,不是蒸餾這個演算法。 對一般使用者的實務意義:下載蒸餾版模型前, 先看授權欄 。同樣叫 Distill,MIT 授權和帶有使用限制的授權,能不能商用差很多——這點在〈 開源模型怎麼選?一次搞懂 Llama、Qwen、DeepSeek 授權與量化規格 〉裡有更完整的整理。 站長我覺得蒸餾最反直覺的一點,是它證明了「錯誤答案也有價值」。傳統訓練只在乎對不對,蒸餾卻發現老師怎麼排列那些錯誤選項,才是最難自己學會的東西——這種資訊在標準答案裡是完全看不到的,只能從一個已經學會的模型身上抄。 另一個容易被忽略的冷知識:蒸餾和 Speculative Decoding 常常搭在一起用,但兩者的階段完全不同。蒸餾發生在 訓練期 ,做完之後你手上多一個獨立的小模型;Speculative Decoding 發生在 推論期 ,小模型和大模型要同時在線上跑。前者換模型,後者換跑法。 最後提醒一個實務陷阱: 蒸餾版的分數不能直接當通用能力看 。R1-Distill 系列的亮眼數字集中在數學與程式,那是老師示範得最密集的領域。真的要拿來當日常助理,自己用實際任務跑一輪比看榜單可靠。 Q:模型蒸餾跟量化,哪個對畫質(輸出品質)傷害比較大? 沒有一體適用的答案,因為兩者掉的東西不同。量化掉的是數值精度,同一套權重表達得比較粗;蒸餾掉的是模型容量,學生的參數量本來就裝不下老師全部的知識。實務上兩者疊加使用時,建議先確定蒸餾版的能力範圍符合需求,再挑量化等級。 Q:蒸餾出來的小模型,可以再當老師去教更小的模型嗎? 技術上可以,這稱為多階段蒸餾,DeepSeek-R1 的模型卡也提到開源 R1 就是為了讓社群能蒸餾出更好的小模型。但每一代都會有損耗,而且學生會連老師的偏誤一起繼承,層數越多越明顯。 Q:為什麼有些蒸餾模型在數學很強,聊天卻很普通? 因為老師示範的內容決定了學生學到什麼。DeepSeek-R1-Distill 用的是 R1 產生的推理資料,自然在推理密集的任務上表現突出;沒有被涵蓋的能力,學生沒有來源可學。 Q:我在 Ollama 下載的蒸餾模型,還需要自己再量化嗎? 通常不用。社群釋出的 GGUF 檔多半已經是量化好的版本,檔名裡的 Q4_K_M、Q8_0 就是量化等級。要挑哪一級,得看你的 VRAM 與記憶體頻寬條件。 MoE 混合專家是什麼?為何 235B 模型只算 22B、卻還是很吃 VRAM 為什麼本地 LLM 跑不快?真瓶頸是記憶體頻寬,不是顯卡算力 Mac 跑本地 LLM 記憶體怎麼挑?Apple Silicon 統一記憶體與 M4/M5 選購全解析 📖 第一級|原始論文與官方文件: Distilling the Knowledge in a Neural Network(Hinton、Vinyals、Dean,arXiv 1503.02531;NIPS 2014 Deep Learning Workshop) — 2026-08-13 查證 DistilBERT, a distilled version of BERT(Sanh 等人,arXiv 1910.01108 v4;NeurIPS 2019 EMC² Workshop) — 2026-08-13 查證 Introducing Gemma 3: The Developer Guide|Google Developers Blog(2025-03-12) — 2026-08-13 查證 Generalized Knowledge Distillation Trainer|Hugging Face TRL 官方文件 — 2026-08-13 查證 DeepSeek-R1-Distill-Qwen-7B 官方模型卡|Hugging Face — 2026-08-13 查證 Detecting and preventing distillation attacks|Anthropic 官方公告(2026-02) — 2026-08-13 查證 📖 第二級|延伸研究(預印本): On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes(GKD 原始論文,arXiv 2306.13649,預印本) — 2026-08-13 查證 Gemma 3 Technical Report(arXiv 2503.19786,預印本) — 2026-08-13 查證