杰夫·迪恩在播客里聊起蒸馏,没几个月这个词就顺着硅谷飘到了华盛顿,连政策圈都开始拿它当算力博弈的筹码。可翻翻旧账,蒸馏哪是什么新突破——Hinton 2015年就写明白了,无非模型压缩的老把式,部署端早用滥了的工程标配。学生模型反超老师,圈内人看了只会觉得"这不天天在干吗"。
真正值得咂摸的,是这个词在跨圈旅行时的变形。从技术博客到播客闲谈,再到听证会上被念成战略威胁,蒸馏原本朴素的工程含义,像隔着几道水面的月影,越传越糊。
我倒不担心蒸馏本身。怕的是有人拿误读当真去立规矩——把一句黑话当管制由头,最后勒住的反倒是自家做模型的人的手脚。技术从来不怕被谈论,怕的是谈论它的人,压根没打算听懂。