杰夫·迪恩在播客里聊“蒸馏”那阵,圈外人还一头雾水。如今硅谷华盛顿都迷上这概念,听着像新神话。但我倒觉得,这事儿人类干了几千年了。
苏格拉底从不动笔,全靠学生记录,那不就是第一次蒸馏?其实把混沌的思想压成能传下去的精华。后来抄本、印刷、翻译,哪一步不是在损耗里传承。谁也读不完群书,我们都是靠前人蒸馏过的经典活着。
蒸馏本身不是问题。小模型学大模型皮相、丢语境,翻译丢韵味、转述失分寸,这本就是“知其然不知其所以然”的老题,不是AI的新鲜事。
真正危险的,是把蒸馏液当源头活水。喝二手不丢人,丢人的是喝完以为尝到了第一口井水。哪天把模型输出奉为真理本身,忘了它只是被压缩过的回声,文明才算真的开始脱水。