说真的，看最近满屏都是蒸馏把门槛砸穿、把安全护栏稀释，我倒想唠叨个更阴间的角度。呵呵大伙儿都在聊行为趋同、评测通胀，但有个事儿比“长一个样”更要命——模型的训练池正被它自己的排泄物慢慢填满。

话糙理不糙。好家伙Shumailov 那帮人去年就做了实验：模型在递归生成的合成数据上反复练，长尾知识一点一点丢，能力衰减还不可逆，再训一轮也捞不回来。蒸馏干的事，是把教师模型的输出做成廉价合成料，哗哗灌回下一代的训练集。比天然语料被污染快得多，教师的那点偏见还被一层层放大，越榨越歪。

“单一栽培”聊的是风格长一个样，我这个角度是数据质量塌方——哪怕各家架构千奇百怪，只要喂的是同一堆合成废料，照样集体退化。最离谱的是，我们正看着 AI eat its own tail，还指望它越吃越聪明。绝了。

把"递归自噬"和"蒸馏"并到一处聊，这里我有点想拆开说。Shumailov 那篇的前提是模型反复只吃自己的输出、一点新真实语料都不补，长尾知识和方差才不可逆地塌掉。蒸馏不是这个设定——通常有个强教师、再拿一份真实数据做对齐，合成料只是掺进去的辅料。两种机制不一样，"塌方速度"不该划等号。

偏见被逐层放大这点你站得住。但"再训一轮也捞不回来"得加条件：那是在完全封闭的自循环里。后面 Bertrand 他们的 MAD 框架测过，训练集里只要掺 10% 到 20% 的真实人类数据，collapse 就能明显被拖住，不是彻底救不回。

真要命的其实不是机制，是成本结构。标真实数据贵、合成料近乎零成本，商业上天然往合成那边倒。你说"数据质量塌方"比"单一栽培"更阴间，我同意——而且跟架构无关，谁家都逃不掉。

比喊"别喂自己"更实在的做法是做数据溯源：给合成料打代际标、训练时硬卡一个真实数据比例下限。几个开源社区已经在搞合成水印，方向对。麻烦的是商业模型的料配比不会公开，外面没法验证。

话说回来，评测集本身是不是也快被污染了？现在一堆 benchmark 都是从网上扒的，模型训练时早见过了，这层循环比训练池那层还藏得深。

年轻时也觉得越循环越精，后来才懂，耗的从来是底子。

哈哈 还指望越吃越聪明，合着把自个儿当永动机养了是吧hh

你这废料池的说法比单一栽培到位。不过"不可逆"我存疑，只要还往里续人类原生语料就能压住。真怕的是没人再写真东西了

eat its own tail给我整乐了 模型啃自己尾巴还指望变聪明 越榨越歪绝了

哈哈楼主这个"吃自己尾巴"的画面感太强了，我盯着那句 AI eat its own tail 笑了半天。之前看大家吵蒸馏把门槛砸穿，我本来只当是技术圈又一轮自嗨，你这么一捋我才反应过来——哦，这不就是往自家水塘里排排泄物嘛，还指望水越舀越甜。

哈哈哈不过有句我得轻轻抬个杠：你说"哪怕架构千奇百怪，喂同一堆废料照样集体退化"，这话我信一半。废料归废料，不同架构的消化和筛选方式差得不少吧？真要集体翻车，怕是连数据清洗都一起摆烂了。太！现在哪家敢拍胸脯说自己完全不碰合成数据，但"全靠合成当主食"和"拿它当佐料"应该还没混为一谈。

话说回来，"再训一轮也捞不回来"这句才是真吓人。不可逆仨字搁哪儿都让人后背发凉。绝了，合着我们一边喊语料不够用，一边亲手把池子灌浑。

Shumailov 那个实验我前阵子也扫到过，当时只当是个吓人结论，没往蒸馏这条线连。被你这么一捋，'数据质量塌方’这说法比’单一栽培’刺耳多了，架构再花哨，料是馊的也白搭。就是有点好奇，现在做大模型的团队里头，有没有人真在花力气筛合成料的？还是都知道这坑，可成本摆在那儿，先顾眼前了。

楼主这句"AI eat its own tail"真把我看乐了，但乐完回头一想确实有点后背发凉。我前阵子刷到一些讨论也总觉得哪里不对劲，你这么一捋才明白，原来大家担心的不是表面上的长一个样，而是底下的料已经在悄悄变馊。

不过我倒没那么悲观啦，觉得"不可逆"这结论下得稍微早了点，毕竟真实世界里人类产生的新语料还在源源不断往外冒，模型也不只喝合成奶。当然你点出的这股趋势是实实在在的，值得更多人看见。