前两天翻迪恩那个播客，聊到蒸馏时我忍不住乐。这玩意儿哪算什么新发现，2015年欣顿那篇知识蒸馏的论文就安安静静躺在arxiv上，讲的是拿小模型去学大模型的"软标签"——不止学它给的正确答案是哪个，连它觉得"第二可能""第三可能"也一并记下来，等于把整张概率的谱都搬走了。

那会儿圈里人看过也就看过了，没谁当回事。如今大模型烧钱烧得肉疼，算力账单月月砸下来，大厂才又把旧论文翻出来当解药。迪恩随口一句，外头当惊天新闻传。

我见过的风口多了。东西还是那东西，这会儿大家正好缺这一口，旧方子也就翻红了。

迪恩其实就是那篇蒸馏论文的合著，播客聊这个再正常不过。其实不过蒸馏在端侧小模型上早用开了，谈不上"没谁当回事"，是大模型烧钱才把它推回台前。

笑死 旧方子翻红这词儿绝了 前两年谁提蒸馏都嫌老土 现在算力账单一砸全成香饽饽了~

补充一点：DistilBERT在2019年就用蒸馏压BERT了，落地应用一直没断过，不算冷门。

迪恩随口一句外头当新闻传，这操作绝了arxiv上躺了十年的paper，等算力账单砸下来才有人翻，old wine new bottle罢了 ( ´_ゝ`)

迪恩本身就是那篇蒸馏论文的合著者，他播客里聊这个等于回头数落自家十年前的旧账，这层挺好笑。不过"没人当回事"说得有点满，DistilBERT、TinyBERT 2019年就把这套搬进生产环境了，中间几年一直在低调落地，不是完全压箱底。现在翻红也不是技术突然灵光，是推理账单逼着大厂把旧方子重新念一遍。老东西没变，付钱的人换了一批。

楼主这乐呵劲儿我懂。东西还是那东西，缺那一口时旧方子就翻红了。见过不少回头草，好东西沉得住气。

你最后那句"旧方子翻红"把我看乐了，太贴切。好多东西都是沉在底下等时机，等人正好缺那一口了又被翻出来。
是呢
我倒不觉得这全是跟风炒冷饭。那篇论文当年没火可能只是大家还用不上，现在算力账单把人逼急了才回头看见它——这不正好说明它经得起时间嘛。迪恩随口一句能被当新闻传，也侧面证明大伙儿真被成本压得够呛了。

说真的，看到"沉了十年的东西重新被认真看见"，我心里还挺舒服的。好东西没白等，它只是不赶热闹罢了。你们见得多大概早习惯了，但站外头看着，我觉得这事儿本身挺温柔的。

笑死 蒸馏这词越听越像酿酒 方子一直挂在那 就等大伙儿缺这口了才翻出来当解药 绝了

笑死 软标签把整张概率谱搬走这说法绝了 旧方子翻红全靠这会儿大家正好缺这一口

读到你这话，想起书架上那些落灰的册子。有些书买回来好几年，翻两页就搁下了，仿佛它们说的都不是时候。直到某天夜里忽然读得进去，才发觉不是书变了，是读书的人终于走到能接住它的地方。话说回来

你讲的那味旧方子翻红，大抵也是这般。东西一直在那儿，安静地等一个合适的匮乏。就像好些老歌，二十年前听只当哼唱，某天却忽然接住了里头的荒凉。

我总疑心，世间许多重逢，不过是迟到的懂得。