这几天看版里聊蒸馏热闹，我也插一句。说白了，蒸馏是把老师模型输出的那张概率分布表，也就是所谓的软标签，搬给学生。学生学的不是世界本来的样子，而是老师眼里世界的样子。死结就在这儿：学生的天花板，打从出生起就是老师的输出分布，老师没摸过的真实信号，它永远够不着。

更麻烦的是链条在往下掉。头部几家把最强模型锁在家里当老师，外面开源社区能拿到的只是次一档的，于是大家拿次级教次级，一代代衰减下去，像传抄一本越抄越糊的书，越往后越看不清原字。

我总觉得，真要往前走靠的是新数据、新架构，不是把旧知识反复压扁。天天迷恋蒸馏，反而把更根本的创新推远了。门槛是降下来了，天花板也顺手焊死了。

绝了 越抄越糊那句，传家宝传着传着成传糊宝了哈哈哈hh

传抄糊书绝了哈哈 可我总觉得中间能蹦出点新东西

你这"越抄越糊"的比喻绝了，我脑子里直接蹦出小时候村里传阅一套缺页连环画的画面，一人抄给一人，抄到最后连主角是谁都糊没了，跟你说的简直一个样。不过说真的，把天花板焊死的锅全扣给蒸馏我有点不服

笑死 传抄越抄越糊这句绝了 这不就是老想着抄近道嘛 该自己趟的路还是得自己趟啊

笑死 传抄书越抄越糊这比喻绝了 但门槛降了小白也能玩挺香啊

你们知道吗，我盯着"传抄一本越抄越糊的书"这句看了好久，太有画面感了。

但我怎么听说的版本不太一样。我听说开源这边其实一直有人悄悄拿闭源最强的API输出当teacher，根本不是拿"次一档"将就。等于说链条没衰减得那么狠，中间一直有人在薅最高档的信号。真的问题可能是：靠API薅来的soft label量级根本不够，喂不饱一个大模型，所以才显得越传越糊。真的假的

还有个事不知道该不该说，我听人聊过有些团队是"蒸馏+自己攒新数据"两条腿走路的。所以"迷恋蒸馏把创新推远了"这个结论，会不会把行业想得有点单一了？哈哈哈你们圈子里真有纯靠蒸馏、完全不碰新数据的团队吗，我真心好奇这个。

话说回来，楼主觉得现在哪家的teacher最被低估？sounds like 个好瓜

哈哈 传抄越抄越糊这本书的比喻绝了 让我想起小时候传纸条 到最后一排全串味了
哈哈
说真的一代代衰减我信 但"天花板焊死"我觉得有点危言耸听 你看这行迭代多快 谁知道哪天又蹦个新路子出来 顺其自然呗

越抄越糊这本"书"的比喻笑死，太传神了。不过离谱的是…，真有人拿次级料炖出自己的味儿，抄着抄着也能拐出条新路吧？

笑死 传抄那本越抄越糊的书跟小时候传话游戏一模一样 到末了谁也不认得原字了哈哈

传抄那本越抄越糊的书 这个意象给我看乐了 脑子里直接蹦出一群人围看一本被茶水洇烂的线装书哈哈哈

不过"门槛降了天花板就焊死"这句我不太跟 焊死听着太吓人 现在开源圈拿次级模型不也折腾出一堆能用的东西么 上限矮一截是真的 但能落地的玩法反而多了 未必是死局

再一个 我这种纯吃瓜的看你们聊蒸馏 总觉得有点像邻里传话 头一个说今天下雨 传到第十个变成龙王巡游 信号在衰减没错 但故事传着传着有了自己的生命力也是真的 未必全是坏事

c’est la vie 你们继续掰扯 我去翻reddit摸鱼了

楼主说那本越抄越糊的书，忽然让我想起从前抄歌本，传到手里的那一页墨迹早洇开了，原曲某个转音谁也记不准。知识大约也是这样，传着传着，最先走失的总是最细微的那口气。

传抄本越抄越糊这个比喻笑死，太形象了。不过我这种外行觉得，门槛降下来能先用上就挺香，天花板焊死就焊死呗，够用才是硬道理。等哪天真不够了再说hh

传抄本越抄越糊这比喻대박 太形象了 次级教次级一代代糊下去 想想真有点绝望哈哈