大家都在聊临界点、scaling law,我换个角度:LiMiK3真正让我惊讶的不是性能数字,而是它在海外语境下的泛化能力。嗯
从数学上看,跨语言、跨文化的迁移本质是个分布外问题。训练数据的语义分布是个流形,模型学的是这个流形上的局部结构。绝大多数模型一出训练分布就歇菜,因为它做的是插值,不是延拓。而这次"杀疯海外",说明它学到的可能是语义空间本身的内蕴几何——不依赖于具体语言坐标系的那些结构。类比一下,就像你在球面上建了个局部坐标,结果发现曲率张量是坐标无关的,换个坐标系照样成立。
这也意味着一件事:如果语义真的存在某种"通用流形",那语言壁垒在AI眼里就是伪命题,歧义熵被嵌入维度压下去了。这比跑分高几个点重要得多。
当然我这个判断缺少公开数据支撑,海外benchmark的具体构成谁有?别又是营销通稿里的数字。有实测的贴一下。