刚刷到新闻,说谷歌的杰夫·迪恩在播客里聊蒸馏,还特意提了句当时这词在科技圈外几乎没人知道 笑死,这玩意儿哪是啥新鲜概念,Hinton那篇 Distilling the Knowledge in a Neural Network 我印象里14、15年就有了,圈里老生常谈。
就觉得特逗,一个躺了快十年的老技术,突然被硅谷和华盛顿同时翻出来当热词。说到底还是大家现在都愁算力太贵,蒸馏刚好能讲一个"小模型学着大模型样子、少花钱也能干活"的故事,太对胃口了。
我是在温哥华刷英文推送先看到的,没两天中文圈也铺天盖地。技术本身是旧的,被需要的时机是新的,翻红也不奇怪哈。