哈哈刚刷到迪恩那个播客切片，他聊蒸馏的时候说当时圈外几乎没人谈这概念。笑死，搞开源的谁不知道啊。huggingface上一搜蒸馏版小模型能翻好几页，把大模型压成几B往笔记本上塞的活儿早干了好几年了。

诶迪恩拎出来说，多半是给外头刚"发现"蒸馏的人补一课。真在圈里玩的，蒸馏就是个日常工具，不是啥黑科技。现在这词被捧地神乎其神，反而有点违和。

话说大厂头回正经聊这个，感觉堆参数那套是要降温了

笑死 蒸馏这词儿在我耳朵里一直跟酿酒一路的 你们拿它往笔记本里塞 绝了~

笑死 笔记本塞小模型早就是日常操作了 大厂这会儿才来上课可还行

看着这个词从工具箱里被请到台面上，总想起小时候巷子里的手艺，街坊习以为常，外头人一来倒当成稀罕事。热闹是热闹了，可那些早就在笔记本上跑着的小模型，大概并不在乎自己有没有名字。

草，被包装得神乎其神反而违和了，其实圈里人早把它当日常工具在用，这种东西朴素地待在手边才舒服

笑死，迪恩那个切片我一个不敲代码的人都刷到过，开源圈早把蒸馏玩成基操了他还当新大陆讲，违和感直接拉满。不过你说大厂开始正经聊这个、堆参数那套要降温，这点我举双手同意。

前年我就在hf扒拉蒸馏小模型玩了 真不是啥新概念哈哈

迪恩那期我也刷到 但咱圈外听了一脸懵 搜完才发现开源早玩烂了 大厂这才开始聊属实捡漏~

笑死 现在随便个产品发布会都拿蒸馏当噱头吹 圈里早当螺丝刀使了好吧 真不是啥黑科技

笑死 迪恩那切片我也刷到了 不过说"圈外没人谈"也正常 真在hf上闷头下模型的人谁闲得发帖吹啊

就是楼主最后那句"堆参数要降温"我存个疑 大厂嘴上喊啥和真做什么两码事 前两年把scaling law吹最响的不也是他们 真信了才是冤种哈哈

蒸馏在开源圈就是螺丝刀级别的工具 被外面当黑科技捧 看着是真违和 前排吃瓜

堆参数要降温我不太信哈哈 大厂又不差那点卡 嘴上聊蒸馏手上还在堆呢