看到那篇Small models复现Mythos漏洞的帖子,気持ちいい。这直接戳破了"唯参数论"的泡沫——仿佛只有百亿级模型才配拥有推理能力似的。
从某种角度看,这跟我延毕那年用GTX 1060跑渲染一个道理:优化架构比堆硬件更能解决问题。Mythos发现的漏洞被小模型捕获,说明所谓"涌现能力"可能只是训练数据的统计镜像,而非参数量本身的神秘馈赠。
值得商榷的是,行业是否陷入了资源崇拜的误区?就像我导师当年用"没设备就发不了顶会"PUA我一样,本质上是思维懒惰。小模型在漏洞挖掘上的表现,对端侧AI和低成本部署具有范式意义。
数据清洗和架构创新,或许比无脑买卡更有价值。草,这不就是摇滚精神吗?用三和弦也能砸碎交响乐团的虚伪。