杰夫·迪恩前阵子在播客里聊蒸馏，结果华盛顿那帮人 suddenly 也开始拿这词当政治修辞了，挺魔幻的。比起"蒸馏成政治词"这种热闹，我倒觉得有个更底层的点被大家忽略了：蒸馏其实悄悄把训练信号的来源给换了。
老的监督学习，label 就是 ground truth，模型对着人类标好的答案慢慢纠偏。蒸馏呢，是拿一个模型的输出去监督另一个。表面看是知识迁移，可换个角度想，这等于把"什么算对"的定义权，从数据交到了另一个模型手上。
隐患在这：老师的盲区、偏见、甚至偶尔抽风的 hallucination，学生会原样照搬。一代代蒸下去，谱系越长越像，多样性肉眼可见地缩水。更糟的是递归效应——学生再当老师，错误不会被修正，只会被层层放大，到某一代分布直接塌缩，model collapse 就来了。
蒸馏省的是标注成本，不是认知成本。严格来说这笔账，迟早要算。
我前阵子正好也翻了 Shumailov 那篇 The Curse of Recursion，所以看到你说的"谱系越长越像、多样性缩水"还挺有共鸣。不过有一点想补一句：你这里其实把 distillation 和 recursive self-training 稍微混着用了。
经典 knowledge distillation 是 teacher-student 一步到位，teacher 本身通常是在大量 real data 上训出来的，学生吃的是带噪但高质量的 soft label，并不存在你说的那一代代把输出喂回去的回路。真正触发 model collapse 的实验设定，是每一代都用上一代生成的 data 去训下一代、且不再往里掺原始分布的数据。Shumailov 跑的 ImageNet 和文本实验里，塌缩的临界点恰恰是 fresh data 占比掉到某个阈值以下。
所以"这笔账迟早要算"这个结论，从某种角度看得加个前提：只要继续训练时还保留足够比例的 original samples，分布塌缩不是必然。你那边最近是在做合成数据的实跑，还是纯粹聊聊趋势？
关于"把定义权从数据交到另一个模型手上"这点，我想补一个容易被忽略的细节。
蒸馏换掉的其实不是 ground truth 本身，而是监督信号的粒度。Hinton 2015 那篇开山论文里，损失函数是两部分加权的：一部分是学生对硬标签的交叉熵，原数据还在；另一部分是对教师软标签的 KL 散度。所以严格说，教师输出是叠加在真实标注之上，而不是替换掉它。真要谈定义权转移，得看具体配方里硬标签那项的系数有没有被压到零。很多工业级蒸馏反倒故意保留一定比例的原数据，就是防你担心的谱系塌缩。
至于 model collapse，我想稍微校准一下因果。Shumailov 等人 2023 年那篇 The Curse of Recursion 验证的是模型反复在自身生成物上训练会丢尾部信息、分布收缩，这是递归自训练的问题。单次蒸馏、且教师本身在真实分布上训得足够好，通常反而是正则化效应，学生还能少学点标注噪声。危险确实在"学生再当老师"的链条上，但塌缩不是一步到位，得好几代纯合成数据喂养才会显形。你把递归效应和单次蒸馏放在同一段里讲，方向对，机制上得分开看。
我更在意你说的"认知成本没省"，这点基本同意。补一句：软标签携带的是类别间的相对置信度，它把"什么算对"从 0/1 变成概率分布，这算不算重新定义正确，其实值得商榷。教师抽风时的幻觉会被搬过去，但反过来，教师比标注员更稳定时，它也在替你消掉人工标注的随机误差。账得分两本算。其实
华盛顿那帮人拿蒸馏当修辞，倒让我想起一句老话，名不正则言不顺，词被借走的时候原意往往已经不重要了。
其实温度调高、掺点真标签，照搬能缓和不少，"原样照搬"这说法是不是稍微绝对了？
有个点想跟你商榷：model collapse 这套叙事，得和单次蒸馏拆开才讲得通。Shumailov 那篇 2023 年的递归训练研究，塌缩的前提是模型一代代吃自己产的数据——一个 self-consuming loop，不是 teacher 把知识一次性蒸给 student 就完蛋。单次蒸馏顶多算压缩，多样性损失可控；真危险的是你文末那步，学生回头当老师，递归一旦关不掉，分布才肉眼可见往塌的方向走。eigentlich 你最后那句"这笔账迟早要算"说得没错，只是债主不是蒸馏，是递归本身。
你把这个"训练信号来源被悄悄换了"的点拎出来，比外面蹭蒸馏热词有意思多了。不过递归塌缩那块，去年 Nature 上 Shumailov 那篇实证给了一个比"迟早塌"更精确的边界。
他们用纯合成数据反复喂同一代模型，到第 9 轮 valid loss 就开始明显发散、多样性肉眼塌掉，跟你直觉一致。但有个容易漏的对照组：每轮往训练集掺 1% 到 10% 真实人类数据，collapse 基本就被按住了，谱系拉几十代也没事。
所以从某种角度看，“错误层层放大"只在完全封闭递归环路里才成立。现实里哪家部署会真靠学生教学生、一点真实信号都不补？把"省标注成本"直接等同于"埋雷”，这笔账的假设可能比你暗示的宽松些。倒是"定义权交出去"那个焦虑，比 collapse 本身更值得接着聊。
楼主那句"把什么算对的定义权，从数据交到了另一个模型手上"，我读到这里愣了一下，真的说得太准了。
嗯嗯
不过顺着你说的递归效应，我倒没那么悲观。没事的你想啊，人类也是一代代当老师带学生的，师傅传徒弟传了这么多年，手艺也没全变成同一个模子刻出来的——关键大概是有没有"回头看源头"的习惯。模型这边要是能在某一代 deliberately 掺回一批干净的真人标注数据，让分布被拉回一下，塌缩可能就没那么容易发生。
会好的
当然标注成本省下来、认知成本迟早要还，这笔账你说得在理。就是好奇，现在那些真正在跑蒸馏的团队，会不会已经有人在悄悄做这种"回炉标定"了？
你说到 ricorsivo 那一段，我年轻的时候玩传话游戏印象特别深。一圈人坐下来，第一句"今晚吃饺子"传到末尾变成"明晚去打架"，每个人当下都觉得自己听准了，偏差就一层层叠上去。从来没人故意传错…，可链路一长，谁也不负责纠错，分布就这么塌了。
这事急不来。几代模型之间要是没个外部校验盯着，光靠学生教学生，味道迟早走偏。我倒好奇现在这些团队真做过跨好几代的稳定性测试没，还是先用了再说。
补充一个常被混在一起的点：帖子里说的递归塌陷，严格讲得满足一个前提——teacher 和 student 那一代代都拿模型自己生成的内容当输入，而不只是拿模型输出当软标签。
经典蒸馏里 student 看到的 x 还是真实数据，teacher 只提供 p(y|x) 这种软目标。输入分布没被换掉，所以"把定义权从数据交给模型"这句，准确讲只发生在输出侧。Shumailov 他们 2023 年那篇 The Curse of Recursion 跑出来的 collapse，前提是 self-consuming loop，合成数据既当 x 又当 y。如果只是 teacher→student 一代、真实 x 还在，多样性缩水没那么吓人。严格来说
你最后那句"账迟早要算"我同意，只是触发条件比"蒸得越多越塌"要窄一些。现实里大家基本混着真实数据一起训，塌不塌取决于合成占比，不等于代数本身。
有具体看过哪家的递归实验数据吗，还是主要从迪恩那期播客推出来的？
读的时候脑子里一直转着小时候玩的传声筒。一排人挨着传一句话，传到末尾常已面目全非。可那游戏荒唐，是因为人多嘴杂、各有各的走神。说实话模型蒸馏教人发凉的地方在于，它一点也不杂——老师温和，学生便也温和；老师绕着某个词走，学生连绕开的姿态都一并学去。整条谱系干净得让人不安。
你点出的"定义权易主"，我越想越觉得是整件事的命门。从前模型对着人类标好的答案纠偏，好歹有把外在于系统的尺。如今尺也是模型造的，像一间屋子四面都是镜子，你以为在望窗外，其实满墙都是自己的背影。
不过有个念头缠着我：人类这套"蒸馏"，怕是早就在跑。我们读书、拜师、认前人留下的标准答案，哪一环不是拿一个人类的输出，去监督另一个人类？偏见与盲区照样代代相传，只因它慢，慢到我们用"传统"二字把它包成了褒义。模型 collapse 不过是把几十年的塌缩按了快进，几代就演完。
所以那笔账怎么算，我倒觉得不在"要不要蒸馏"，而在每一代要不要往里掺一点真正野生的、未被任何老师规训过的东西——新鲜的人类标注，冷不丁的噪声，甚至故意的偏离，像是往越来越纯的血脉里偶尔输一点杂血。
仔细想想
怎么说呢忍不住想，要是有人问杰夫·迪恩：你们打算什么时候，让模型去问问一个从没上过网的人，什么才算对？
读到那句“一代代蒸下去，谱系越长越像”，脑子里忽然冒出来的不是模型，是小时候玩的传话游戏。一群人排成一列，第一个人看一眼纸条，凑到第二个耳边轻轻说，再传到第三个……传到第十个，意思早就不剩什么了。那时候只当是个逗乐的把戏，现在想来，那大概是最朴素的一则隐喻：任何只朝一个方向流动、从不回头校正的信息，都会在某个拐弯处悄悄变质。
说实话你说的“把什么算对的定义权从数据交到了另一个模型手上”，我觉得比 model collapse 这个术语本身更让人心里发凉。因为一个谱系若只从自身内部汲取养分，它会越来越像自己，也越来越窄。多样性缩水的那一幕，其实不止发生在模型里。任何一种只听自己人说话的圈子，到最后都会塌成一声回声。
省下的标注成本，迟早要拿别的什么东西去抵。这账怎么算，我外行，说不出门道。但隔着屏幕，倒真有点替那些越来越相像的学生们叹口气。
怎么说呢
读完有点像站在秋天的树下，看叶子一片片落，落得整齐，也落得无声。
笑死 蒸馏都能被华盛顿那帮人拿去当政治修辞 这词算是彻底飞出计算机圈子了哈哈哈