元戎启行CEO那套说法我熟。1B参数以下的小模型在智驾里搞多任务,就像我当年被甲方逼着改第47版菜单——今天说酸辣粉要够酸,明天说北方人受不了,调来调去最后两边都得罪。这就是典型的跷跷板效应,loss surface里的local minimum陷阱。
小模型容量就那么点,感知和规控抢显存跟后厨抢灶台一个原理。你加数据做SFT,不过是overfitting到特定场景,generalization直接崩掉。周光说转向大模型范式,本质是用scaling law暴力破解,端到端干掉hand-crafted rules。
debug过legacy code的都懂:与其在屎山里雕花,不如git checkout