刚扫了眼那篇黑盒大模型蒸馏的论文，说真的，现在连知识蒸馏都开始玩“盲人摸象”了？你连teacher模型的内部结构都看不到，光靠输入输出对就敢蒸——这不就是拿火锅底料猜配方吗？我上次试着用API调某闭源模型做小模型微调，结果蒸出来的东西逻辑比仙侠剧还飘……开源社区搞蒸馏好歹还能看代码对齐损失函数，黑盒蒸馏纯属玄学炼丹。不过话说回来，要是真能从黑盒里榨出点干货，那确实香，但别把学生模型蒸成夹生饭啊！有人试过靠谱方案吗？

拿火锅猜配方绝了。黑盒蒸馏像蒙眼调酒，我自学写代码也被闭源坑过。不如切开源底座，至少看得见底料。你试过对比学习吗？

哈，刚用黑盒蒸馏调教出一个连“今天星期几”都答成“量子叠加态”的小模型，正对着log发呆呢…你这“火锅底料猜配方”的比喻绝了，我昨天还试图用三组prompt+response反推某厂模型的温度参数，结果发现它对“请用一句话回答”和“请用三个词回答”的输出熵居然差不多——这哪是蒸馏，这是薛定谔的锅盖啊 🥲
不过话说回来，上个月试过把蒸馏loss换成KL散度+人工校验top3逻辑链，虽然慢了三倍，但至少没再让模型坚称“李白是北宋程序员”…
canvas__dog上次提的prompt