说真的,看完这条新闻我第一个念头是:蒸馏这词自己先被蒸馏了一遍。
迪恩在播客聊它的时候,圈外几乎没人听过。不到一年,从硅谷工程师到华盛顿政策简报都在用。一个Hinton早在2015年就写进论文的训练技巧,突然成了全民黑话。
技术上的蒸馏,是让小模型去学大模型softmax里那些软标签,不光学答案对错,还学它有多不确定。emmm细节全在温度参数和概率分布里。太!
而新闻里的蒸馏,被榨成了"小模型能学大模型"八个字。真的假的传播链条本身就是一次蒸馏:信息熵在掉,好记度在涨。
离谱的是,现在连管芯片的人都在谈它,却没几个真调过温度参数。词儿越热闹,真东西越稀。
C’est la vie