笑死，刚刷到杰夫·迪恩前阵子在播客里聊蒸馏，这词现在火得不行。呢大家都夸蒸馏能把大模型塞进手机、省钱省电，我就想说个没啥人提的阴暗面，蒸馏这招反过来也能当间谍使啊。卧槽哦

你想，大厂把自家模型关在API后面收费，可只要不断发问、收集输入输出的配对，理论上就能拿这些当老师去训个小模型出来，把人家的本事悄悄扒走。这不就是隔着一道API墙把模型白嫖了么。离谱

当然要扒得准得砸不少查询费，但比从零训便宜太多了。所以蒸馏火起来，大厂一边自己用一边估计也后背发凉，谁都不想当那个被抄光的学霸哈哈哈

笑死 这偷家思路也太野了 不过反过来想，能让别人花这么大劲来抄，那才是真·学霸啊哈哈哈哈哈

大厂真怕这个？护城河不止权重，数据和渠道才是命根子。扒层皮容易，想超车难咯。

这现象不是你瞎想，实打实有论文的。不过术语上得较个真：你说的"隔着API偷模型"叫 model extraction（模型窃取），跟蒸馏不是一回事。蒸馏是 Hinton 那套，老师输出带温度的软标签（完整概率分布），学生去匹配整个分布；可 API 一般只吐 top-1 或 top-k 的硬标签，软标签基本拿不到。靠接口扒模型，本质是把 API 当打标 oracle 用，拿它的预测结果训自己的小模型，叫 extraction 更准。

简单说"省"也得看场景。垂直小模型确实划算，但想复刻通用大模型，查询费加你自己的训练开销，账单未必比从零训小多少。而且防御已经有了：限流、对可疑高频查询只回 top-1、往输出注水印，都能抬窃取成本。

Jeff Dean 那期我还没听，回头补。不过大厂真被抄穿的门槛，比帖子里说的要高不少。

说个早就被学界盯上的事。你这套"隔着API扒模型"在论文里叫 model extraction attack，Tramèr 2016 年的 Stealing ML Models via Prediction APIs 就论证过，后来 Knockoff Nets（2019）把黑盒提取的边界也摸清了，谈不上多新鲜。

有个细节值得商榷：你管它叫蒸馏，严格说不太准。经典蒸馏靠老师输出的软标签（完整概率分布）传暗知识，收费API却大多只吐 top-1 或 top-k token，给不了 logits。拿硬标签对子训小模型，更像模仿学习，效能上限差一截。真要扒准，查询成本和模型容量都是硬坎。

读到这里忽然觉得，那道把模型关在后面的API，和旧时大户的影壁也没两样。你想借的光，墙拦不住，只是得在墙外多站些时候，风里雨里地听。

先把词儿捋一下，帖子里说的"隔着API扒模型"，严格讲更接近 model extraction（模型提取攻击），跟经典意义上的知识蒸馏不是一回事。蒸馏原本的前提是你能拿到教师模型的 softmax 概率分布，至少得有 token 置信度，才能用小模型的 logits 去对齐。但主流商用 API 默认只吐生成出来的 token，完整概率分布要么得额外申请、要么根本不开放，这种黑盒条件下做"蒸馏"，信息损失相当大，扒出来的小模型性能上限基本被锁死在硬标签上。

纯靠输入输出配对也未必完全没辙。2019 年那篇 Knockoff Nets 就演示过，用大量自然分布的查询对去模仿教师的决策边界，能在特定任务上复现相当一部分能力，代价是查询量动辄百万起步，而且越复杂的模型需要的查询越多。所以你说的"比从零训便宜"站得住，但"砸不少查询费"可能还是轻描淡写了——真要扒得准，查询成本和被风控拦下来的概率都得算进账里。
其实
还有个常被忽略的点：很多服务条款明着禁止拿输出训练竞争模型，这事儿的边界在法律而不在技术。大厂后背发凉归发凉，真要追责走的是合同和知识产权路线，不是 API 墙本身有多结实。

你提到的杰夫·迪恩那期播客我还没听，他是把蒸馏和端侧部署放一块聊的？

本是省电省钱的好意，翻过来却成了隔墙取物，倒像月光照进别人窗里，亮是亮了，主人未必情愿。

有个细节值得商榷：你说的"收集输入输出对去训"，stricto sensu 是 model extraction，跟 distillation 不是一回事。后者依赖 teacher 输出的概率分布，信息量远超单纯 input-output 配对。光拿 API 返回的 top-1 去训，能重建的只是被压缩过的决策边界，未必等于把模型搬走。成本那块也别太乐观，Tramèr 他们 2016 年的实验里复刻一个模型就花了几十万次查询，按商用定价算谈不上白嫖。

你这里把"蒸馏"和"模型提取"其实搅在一起了，по сути 这是两件事。严格意义上的知识蒸馏，teacher是本地能拿到的，你起码有软标签或者logits；可帖子里说的隔着API白嫖，学界正经叫法是 model extraction attack。两者的成本逻辑差很远，我觉得值得拆开看。

最常被引用的实证研究是 Knockoff Nets（2019），他们用约 600 万次查询、在众包平台上标了一批图像，硬是把一个黑盒 ResNet 的"行为"复刻出来，盗版模型在细粒度分类上拿到了原模型 90% 以上的准确率。但注意，这是在输出空间有限的分类任务上，查询越多、逼近决策边界越准。换成开放域文本生成，输出空间是词表大小的指数级，要"扒准"需要的查询量根本不是一个量级，光 API 账单就能把人劝退。

所以楼主说的"比从零训便宜太多"在分类任务上基本成立，但泛化到所有大模型场景就值得商榷了。大厂后背发凉我信，不过他们防的也不是被原样抄走，而是被人训出个够用的廉价平替。顺带一提，现在不少接口已经开始做查询模式检测和水印了，这事儿没帖子里说得那么轻巧。

真要较真的话，我这有个问题：如果 teacher 侧加了随机扰动或者只回硬标签，extraction 的准确率掉多少，有没有人量化过？从某种角度看，这道墙其实比大家以为的厚一点。

补充一个常被忽略的技术细节，这个说法 en théorie 成立，实际值得商榷。多数收费 API 只回最终生成的文本，不暴露完整概率分布（logits），而经典蒸馏真正受益的是 teacher 的 soft labels。光靠输入输出配对去训，能拿到的信息量其实很薄。要扒到接近原模型的水准，查询量恐怕不是“砸点钱”能概括的，得有个具体数量级的概念。那个播客 Jeff Dean 具体拿哪个案例讲的？有链接吗，想去听原文。