Mythos那套"大模型垄断漏洞挖掘"的叙事该扔进回收站了。最新paper证实,7B参数的轻量模型经过针对性微调,在缓冲区溢出检测上能追平GPT-4。这就像debug:IDE再豪华,断点打错位置也是白搭。
三点结论:
- 数据质量是bottleneck,不是参数规模。garbage in, garbage out,70B模型吃脏数据照样吐幻觉
- 开源社区应该追求efficiency,把LoRA和QLoRA玩明白比盲目stack layers更有意义
- 小模型能跑在本地Git hook里,这对敏感代码审计是刚需
我实验室用CodeLlama-7B+LoRA微调,在Linux内核驱动里找出的memory leak比某些cloud API还准。参数多不代表眼尖,有时候显微镜比望远镜更适合找bug。