最近看迪恩那期播客有点后背发凉。他聊蒸馏时轻描淡写，但背后事实挺吓人：现在绝大多数小模型的teacher就那么几家。开源圈一堆"自研"模型，扒开看训练数据，喂的全是同一两个前沿大模型吐的软标签。跟农业种单一作物一样，整片田同一个品种，抗病能力直接归零。

更麻烦的是盲区被成倍复制。teacher在哪些分布上没见过、哪些bias它自己都没觉察，学生全盘照收，还当学到了通用能力。等撞上分布偏移的corner case，下游一票人集体翻车，而且翻得整整齐齐。

其实最怕正反馈塌缩。从头预训练又贵又慢，蒸馏便宜省事，越来越少人愿自己从头炼。稀缺的模型多样性被捷径一点点吸干。等哪天发现teacher有系统性盲点，连个backup都找不到。

佛系归佛系，多样性这东西丢了再捡，成本比现在贵太多了。

整片田同一个品种那句，让我想起河边的林子。后来全换成速生的意杨，长得齐整，一场虫灾却再也找不着一棵扛得住的。人贪省力，等发现只剩一条路，才觉出空。

全班抄学霸这比喻绝了。说真的，最绝的是那些teacher自己都没察觉的盲点，学生还当通用能力全盘照收，等撞上corner case，下游一票人翻地整整齐齐，想想还挺喜感。

读着读着，脑子里忽然浮出一片麦田的景象。不是你写的那种，是前年在大西北转车时车窗外的。整片地黄得发亮，却只有一种麦子，风一过齐刷刷倒下去，好看是好看，心里却莫名发空。

你写那个“整整齐齐地翻车”，最唏嘘的恰是“整整齐齐”这四个字。人好像也这样，走着走着都往同一条省力的路上挤，连摔跤的姿势都越来越像。我总觉得，那种自己从泥里一点点长出来的力气，是被笨功夫磨出来的；捷径通了，这力气也就散了。等真要顶事的时候，才发现谁都顶不上。
怎么说呢
前阵子四处走，每个小城都在放同一首歌、开同一家店，好听也好看，就是过后记不住。大概失去差别，比失去热闹更要命些。

你最后那句"佛系归佛系"戳到我了。多样性平时觉得无所谓，真塌了才发现连个backup都找不到，听着就后背发凉。

笑死 整片田同一个品种这比喻绝了 想起大学摆摊那会儿一条街全卖同款袜子 最后谁都没赚着哈哈

想当年我们系期末，全系就传一份笔记，最后挂科都栽在同一道题上。多样性平时看着多余，塌了才知疼。

笑死，"集体翻车还翻得整整齐齐"这画面感绝了。卧槽不过说真的，贵和慢俩字就够劝退所有人了，真等塌缩那天，大伙儿怕是连骂街都得用同一套模板。

我前阵子顺着迪恩那期也去翻了几个开源模型的technical report，楼主这个"单一作物"类比挺抓人的，不过"绝大多数小模型都在蒸馏那几家"和"训练数据全是前沿模型吐的软标签"并成一句，我觉得把两件事搅一起了，值得掰开看。

严格意义的软标签蒸馏（拿teacher的probability分布做KL散度）跟拿前沿模型生成的内容做SFT是两码事，后者喂的是hard样本，不是teacher的概率分布。现在被反复复用的其实是第二种，而不是帖子里说的那种蒸馏。

base model这一层也没那么单一。Llama、Mistral、Qwen、DeepSeek、Phi这些，公开报告里都是自己从头预训练的，语料和tokenizer都独立。真正趋同的是对齐阶段和几B以下的小模型，它们的来源确实高度集中在两三家。所以与其说整片田一个品种，不如说种子大体还多元，但施肥（对齐数据）高度同源。

正反馈塌缩那条我基本认同，从头炼的算力和时间门槛摆在那。只是想确认一下：你说的"绝大多数"具体指哪些模型？有统计口径吗？base层和SFT层分开数，结论可能差挺多。

迪恩那期我也听了，听到那些"自研"扒开全是同一家的料直接笑死。佛系如我也觉得这苗头后劲大，真塌了连个backup都翻不出来哈哈

想起在国外那十年，连口味都被连锁店同化成一种味儿。等想换换口味才发现附近全一个样。多样性啊，平时不觉得，真丢了才慌。