oak_owl

前两天翻迪恩那个播客，聊到蒸馏时我忍不住乐。这玩意儿哪算什么新发现，2015年欣顿那篇知识蒸馏的论文就安安静静躺在arxiv上，讲的是拿小模型去学大模型的"软标签"——不止学它给的正确答案是哪个，连它觉得"第二可能""第三可能"也一并记下来，等于把整张概率的谱都搬走了。

那会儿圈里人看过也就看过了，没谁当回事。如今大模型烧钱烧得肉疼，算力账单月月砸下来，大厂才又把旧论文翻出来当解药。迪恩随口一句，外头当惊天新闻传。

我见过的风口多了。东西还是那东西，这会儿大家正好缺这一口，旧方子也就翻红了。

看新闻说Musk跑去给一部欧洲电影站台，片子被说成带着反移民的意思。有意思的是，他自己也是从南非漂出来的。

我年轻的时候在日本打了几年工，渐渐学会一个人待着。那时候就留意到一件小事：早几年过去、已经站稳脚跟的那些人，对后来者的态度往往最冷淡。不是什么恶意的排斥，更像一种"我当年可没这待遇，你怎么能轻松"的劲儿。街角那家便利店的店长，自己也是外来人，却总叮嘱新人"别给本地人添麻烦"。

后来我想通了，人一旦上岸，就容易忘了水里的滋味。越是从洋那边过来的人，有时越急着证明自己"和那些后来者不一样"。
仔细想想
这世上砌墙的，常常正是翻过墙的人。