什么是知识蒸馏？小模型怎样向大模型学习

一个团队已经用大模型把客服工单分得不错，却发现每天大量重复分类既慢又贵。他们真正需要的，并不是一个什么都能聊的助手，而是一个能稳定区分“退款进度、退款申请、账号问题”的小工具。

能不能让大模型先示范，再训练一个更轻量的模型接班？这就是知识蒸馏经常服务的场景。它不是把大模型的文件压缩一下，而是用教师模型提供的学习信号，训练学生模型完成相应任务。

教师模型提供示范与判断线索，学生模型通过训练形成自己的参数。学到多少，取决于任务、数据和训练方式，不取决于名称里有没有“蒸馏”两个字。

一、学生模型学的不是教师的完整复制品

常见蒸馏流程里，教师是一个已经具备相应能力的模型，学生则是需要训练的另一个模型。学生经常更小、更适合部署，但“教师必须更大、学生必须更小”不是所有蒸馏方法共同遵守的硬性定义。

教学比喻可以帮助理解，但别把它当成模型真的拥有师生关系。技术上，系统准备输入，让教师产生可供学习的信号，再调整学生参数，使学生在选定目标上的行为逐步接近这些信号，必要时同时学习人工标注的正确答案。

Hinton 等人的经典知识蒸馏论文讨论了把复杂模型的知识迁移到另一模型的思路。这里迁移的不是一份可直接解包的知识清单，而是通过训练样本传递的输出关系与行为信息。

因此，把一批教师回答保存成文档，还没有完成蒸馏；每次让小模型把问题转发给大模型，也不是小模型已经学会。真正的训练结果体现在学生参数中。学生是否能够独立完成任务，需要在部署时实际检验。

二、软标签为什么可能比单个答案提供更多信息

看一个工单分类的教学例子。用户写道：“退回去的商品已经签收了，钱怎么还没到账？”下面的数值完全为解释概念而构造，不来自真实模型，也不代表经过校准的可信概率。

只有最终类别时，学生知道这道题应该选第一项，却不直接知道其他选项彼此有什么差别。一组分布则表达了更多关系：第二类与问题比较接近，第三类明显较远。这种带有相对强弱的信息，常被称为软标签或软目标。

训练时，可以让学生既学习人工答案，也学习教师分布。具体怎样组合，要根据任务与实现来设计。Hugging Face 的图像分类蒸馏教程展示了同时利用相关训练信号的一种实现；原理并不只适用于文字任务。

有些方法会用温度参数调整分布的平滑程度，使非首选类别之间的差异更容易参与学习。这是训练目标的处理方式，不能与聊天界面中控制随机采样的温度效果简单混为一谈，也没有一个适合所有任务的固定数值。

还有一个重要限制：教师给出的分布，不是现实世界的标准答案。教师把问题分错时，学生也可能学到错误关系。软标签提供更多信息，不等于提供更多真相。

三、生成式模型还可以从示范文本中学习

实际使用某些模型服务时，团队未必能拿到完整的内部得分分布，只能获得它生成的文字。这时，可以利用经过筛选的示范回答、改写结果或任务标签训练学生。不同研究会采用不同目标，并非所有方法都要求读取教师权重。

Sequence-Level Knowledge Distillation研究了序列级别的知识迁移思路。对普通读者而言，关键区别是：学习信号可以来自完整输出序列，而不只是一道分类题最后选中的那个类别。

例如，希望学生把工单整理为固定字段，教师示范里就可以包含问题类别、用户诉求和需要补充的信息。但在用于训练之前，应检查教师有没有编造订单状态，是否把用户的猜测当成事实，以及缺少信息时有没有正确保留未知。

一些方法还会使用教师生成的解释作为额外训练信号。Distilling Step-by-Step探索了这种路线。这里的解释是生成出来的文本，不应被当作教师内部真实计算过程的逐步记录；解释写得顺，也可能包含错误理由。

对于一个重视可靠性的应用，训练材料里应出现“现有信息不足”的例子。若所有示范都斩钉截铁地给出结论，学生就缺少学习追问、拒绝猜测和交给人工处理的机会。

四、蒸馏、微调和量化并不互相排斥

微调描述的是在已有模型基础上继续训练，让它适应任务或行为要求。蒸馏描述的是学习信号的一种来源与目标：利用教师来指导学生。因此，用教师生成的数据微调一个小模型，可以同时涉及这两个概念。

量化则主要处理数值表示精度，与教师示范不是一回事。一个模型可以先接受蒸馏训练，再做量化部署。两步叠加后仍需要重新评测，不能认为各自单独可用，组合起来就一定没有额外影响。

可继续阅读站内的AI 微调入门和模型量化说明。看清几个词各自描述哪一层变化，比记住一串方法名称更有用。

五、为什么学生可能擅长一件事，却不适合到处用

继续看工单场景。训练材料主要覆盖售后分类，学生就有机会把容量集中用在这一范围。它可能在该任务中表现很好，却不擅长写长文、处理陌生行业术语，或理解训练材料没有涉及的复杂组合问题。

这不一定说明蒸馏失败，而可能说明任务边界本来就很窄。真正的问题是把局部能力写成全能承诺：在某个分类集合上接近教师，不代表在所有语言、知识和推理任务上都接近教师。

学生也不必在所有测试上都低于教师。针对性的训练、合适的数据和任务设计，可能让学生在某个特定评测中取得更好结果。但这种结果需要说明测试范围，不能进一步推成“蒸馏可以无损复制并全面超越教师”。

更隐蔽的风险是继承错误习惯。教师偏好某种措辞、经常漏掉某类少数案例，或者倾向于在没有证据时给出完整答案，学生都可能学习这些模式。看见风格变得像教师，不足以证明任务能力也提高了。

六、怎样做一轮有判断价值的验证

先划定任务：输入是什么、允许输出什么、什么时候必须交给人工。再准备可信的人工标注或可验证结果，保留一部分不参与教师示范筛选与学生训练的测试样本。不要用训练时看过的题目证明学生泛化良好。

比较时至少保留三条基线：未经该蒸馏流程的学生、训练后的学生，以及教师本身。这样可以分清学生究竟进步了多少、与教师还有哪些差距，以及是否只是把某些错误换成了另一类错误。

工单分类中，可以分别检查高频类别、少数类别、含有否定语气的案例，以及多个诉求混在一起的案例。统计与教师是否一致之外，还要看与真实标注是否一致。教师与学生一起出错，不应被记成优秀的迁移效果。

若希望通过蒸馏节省费用，应把教师生成数据、人工筛选、训练、测试、部署维护和失败兜底的成本都算进去。单次运行便宜，不代表整个项目便宜；任务经常改变时，还可能需要重新收集数据和训练。

数据准备也不能绕过授权与隐私要求。使用前核对模型和服务的适用条款，避免把敏感工单直接发送给未经允许的外部服务。本文解释技术机制，不替代对具体服务条件的审核。

最终上线时，可以先让学生处理边界清楚、可复查的任务，同时记录失败类型。新产品、新术语与新流程出现后，应持续抽查，而不是把第一次测试通过当作永久有效。

小结：判断蒸馏模型的五个问题

• 学生要完成的具体任务是什么，超出范围时如何处理？
• 教师提供了哪些信号，错误与低质量示范如何筛选？
• 独立测试是否覆盖少数类别、模糊输入与未知情况？
• 成绩是在对照真实标准，还是只统计与教师说得像不像？
• 训练、维护与兜底成本算进去之后，方案是否仍然值得？

把任务定义得更清楚，通常比笼统追求“把大模型能力搬过来”更有帮助。好的蒸馏方案，不是让学生冒充教师，而是让它可靠地承担自己负责的那部分工作。

本文为「读懂 AI」原创科普，工单类别与分布数值均为教学示例，不是模型实测。参考论文及官方文档见文中链接，研究结果应在其具体实验条件下理解。

配图来自 Unsplash：Tra Nguyen、American Jael、Isaac Smith；照片用于辅助阅读，不是模型测试或合约验证截图。