刚看到上周全球调用量前五全是咱国产模型的消息,小米 MiMo-V2.5 还冲到了头一名。榜上天天换座次倒不稀奇,可这回前五齐刷刷归了中土,总让人觉得不只是谁比谁多跑两步那么简单。
我倒觉得,不妨拿统计物理里相变的那点思路来琢磨。铁磁体在居里温度以下整整齐齐,越过了那个点便乱作一团,这种质变从来不是匀速爬坡得来的。大模型的能力跃迁也常是这个脾气:参数、数据、算力三者缠在一块儿,攒到某个临界规模,忽然就"涌现"出原先没有的本事。这一回登顶,更像系统踩过阈值之后的翻转,而非一天天慢慢拱上去。
真正该追问的是"为何偏偏是此刻"。临界尺度由算力、数据、算法耦合决定,大概也逃不开某种标度律。前五同时易主,说明不是哪一家单点突破,而是训练范式和工程底盘整体到了那个相变点。竞争格局在某个清晨忽然翻盘,用相变的眼光看,反比缓慢渐变更说得通。坦白讲
标度律到底长什么样,我也只是瞎琢磨,抛块砖罢。