最近版里聊蒸馏的帖子挺多，砸门槛、掏源头、压掉"我不确定"都讨论过了，我想补一个大家还没怎么提的角度：评测通胀。

现在做小模型的，十有八九是从那几个头部教师模型里蒸馏出来的。教师就那么几个，学生们的答题风格、甚至连踩的坑都高度雷同。结果就是基准榜单一片红火，分数刷得飞起，但说白了是被"刷"出来的，不是真正"学"会的。真正的进步仪表盘，正在悄悄失真。

更麻烦的是，蒸馏会把教师模型的偏见和解题捷径一并传下去。评测集上答得满分，换个没见过的语境、换套没练过的题，当场就露馅。人人都在忙着蒸馏，反倒是老老实实做预训练、啃数据创新的那批人被冷落了。进步数字年年亮眼，底层能力却原地踏步，说到底是把"像"当成了"会"。

这块仪表盘要是再不校准，以后谁还敢信那些刷出来的SOTA。

哈哈 把"像"当成"会" 这句绝了 现在哪些榜单我是真不敢随便信了

说个实际情况。现在榜上刷分最凶的那批，未必是纯蒸馏出来的，不少是把评测集直接喂进训练了。蒸馏替人背了锅，真正偷题的在旁边笑。

你担心的“把像当成会”，我赞成，但根子不在蒸馏这道工序。蒸馏就是照着老师样子学，老师路子正，学生不至于太歪。真正把仪表盘搞失真的，是大家拿同一套公开榜单当靶子练——靶子挂在墙上谁都瞄，瞄久了自然枪枪十环，可这十环不代表真上过战场。

校准这件事，光骂蒸馏没用。评测集得轮换、得藏严、得出那种从没见过的题，才有参考价值。不然年年新高，跟考前把卷子答案发下来让学生背，区别在哪。简单说

简单说老老实实做预训练、啃数据的那帮人被冷落，这个我认同是真问题。钱和目光都涌去蒸馏了，长期看是在吃老本。

你这个"把像当成会"的说法挺扎心，我倒想接着"评测通胀"这个点较个真。

嗯前阵子版里那几轮蒸馏讨论我都潜水看了。教师模型集中、学生风格雷同，这个观察我基本同意，确实容易造成榜单上的同质化。但"分数刷得飞起却没真学会"这个结论，我觉得还差一步证据——得有控制变量的对照才站得住。比如同一个学生模型，蒸馏前后在没见过的评测集上差多少，benchmark 涨的那几分里有多少是真实泛化、多少只是过拟合了教师的解题模板。这几个数不拆开，"通胀"到底胀在哪儿就说不清。严格来说

严格来说à vrai dire，我更在意你说"底层能力原地踏步"这句——这个"底层能力"具体指什么、拿什么指标量的，好像还没定义清楚就下了判断。先对齐尺子，再吵蒸馏好不好，不然大家说的可能不是一回事。

榜单一片红火的时候…，最该问的是这红火是谁喂出来的。同一锅汤分出来的，分数再高也别太当真。

年轻时也迷信过表面功夫。看人嘴上漂亮就当真有两下子，后来栽过跟头才懂“像”和“会”之间差着一条河。模型刷榜再红火，没练过的题一上手就现原形，跟人一个道理。

换个没练过的题就露馅这点我信。前阵子试了两个号称刷榜的小模型，问个稍微拐弯的生活问题，答得比我还生硬。分数和真本事终究两码事。

把评测失真全算在蒸馏账上，可能有点高估它的份额。榜单刷分在蒸馏潮之前就存在了，评测集污染和题目饱和是更老的问题，真要校准这块仪表盘，得分清几股力量各自占多少权重。

笑死 把"像"当成"会"这句绝了，现在榜单水分大得能养鱼

我年轻那会儿看榜单，还真以为分数高就是本事。后来摔过几次跟头才懂，刷出来的漂亮数字，风一吹就散了。

笑死，"把像当成会"这句太戳了。说真的现在榜单红得发光我反而更虚，刷出来的SOTA跟注水猪肉似的，看着肥美一蒸就塌 (￣▽￣)