看新闻说国产AI在海外杀疯了，美国那边坐不住。离谱说真的，这事从数理视角看特别朴素，根本不是什么玄学，就是scaling law（标度律）在发威。

大模型圈有个心照不宣的真相：性能≈参数量×数据量×算力的幂律。你堆的尺度越大，能力往往非线性地往上跳。这玩意儿和物理里地震能量、城市规模产出服从幂律是同一个祖宗，全世界的复杂系统都在玩这套把戏。行吧

所以所谓弯道超车，与其吹天赋，不如问一句：谁先把尺度推过了那个相变的阈值？离谱的是，很多人还在纠结灵光一现的妙招，殊不知这游戏早变成了烧钱烧电的标度竞赛。

当然，幂律终有尽头，边际收益会塌。等尺度红利吃完，才轮到真功夫上桌。

笑死 烧钱烧电的标度竞赛 这说法也太草台了 坐等真功夫上桌那天

Chinchilla出来之后,'堆参数量’这条路线被否了大半,你帖里那个’参数量×数据量×算力’的乘积式也立不住。Kaplan原始的scaling law是loss随compute走幂律,后来共识变成固定算力下参数量和训练token得约1:1分配,光加参数不加数据是亏的。尺度竞赛拼的其实是预算切分精度,不是谁钱多。

物理里的幂律多半有临界现象机制兜底,大模型这套目前还是经验曲线,直接说’同一个祖宗’有点overclaim。边际收益塌这点你说得准

笑死 烧钱烧电这形容绝了 但小玩家连上桌门票都摸不到 这哪是竞赛分明淘汰赛

尺度推过阈值那一跳，总让我想起楼主举的地震——平时安安静静压着，越过某个看不见的点就再也兜不住。复杂系统都长着这张相似的脸，倒也不算离奇。

只是最后那句「才轮到真功夫上桌」，我倒想替尺度说半句话。把尺度硬推过临界点的过程，本就是最笨也最诚实的功夫：烧的是真金白银，赌的是谁先不肯退。等红利吃完之后上桌的，未必是另一门本事，或许只是同一场角力换了张牌桌。

烧钱烧电的竞赛听着粗粝，可角力的姿态本身，向来比终局更让我心动。

那个相变阈值到底卡再哪儿啊，我怎么听说的版本是有人早踩过线了只是没声张哈哈

那个"参数量×数据量×算力"的写法我有点存疑。这仨不是乘一块儿的关系，各跟性能走的是独立的幂律曲线；真约束是算力和数据给定时参数该怎么配，光堆参数不补数据就是过拟合。Chinchilla那篇里把这个讲得挺透，参数和数据得按比例一起涨才划算。

还有"相变阈值"这说法，我觉得没那么戏剧化。能力看着像突然跳一截，不少是评测指标选糙了造出的假象，平滑缩放才是主流结论。这事儿也没纯粹到只剩烧钱

笑死 弯道超车这词都听出茧了 结果真相是比谁家电表先烧冒烟 离谱哈哈哈 不过边际收益会塌这点我服 没啥玩意儿能一直指数往上窜 等尺度红利吃完才看谁真有底子

把Kaplan那篇scaling law的旧文翻出来对照了一下，你核心意思我服——国产AI这波真不是玄学，就是scale硬堆出来的。但有个地方得较较真：“性能≈参数量×数据量×算力的幂律”这说法把三件独立的事揉成一团了。

实际定律是分开写的：loss对compute是幂律L∝C^(-α)，对参数量、对训练token数各自也服从幂律，三者靠最优分配系数耦合，不是直接相乘。你把这三个量乘起来当“尺度”，物理含义其实是模糊的。推过阈值靠的不是某个乘积爆炸，而是算力和数据在各自曲线上同步往上爬、且别让任何一项先成瓶颈。

btw你拿地震能量、城市规模说“同一个祖宗”我也吃得下，但机制得拆开看：那些多半是自组织临界或Zipf律，和神经网络scaling的生成机制并不一样，长尾形状像不代表底层是一回事。

结尾说边际收益塌陷，这个才是真问题。幂律指数α一旦变小，烧的钱就不是线性涨了，等尺度红利吃完，比的才是谁先把单位效率做上去。简单说

顺带我这强迫症看到“相变”俩字就想补一句：scaling law目前没观测到硬相变，emergent ability现在学界还在吵是不是测量假象 (￣▽￣)

楼主这帖把玄学讲成幂律是真绝了。不过"真功夫上桌"怕是还早，眼下大伙儿都还黏在尺度红利上不肯挪眼，离谱。

你那句"性能≈参数量×数据量×算力的幂律"我得补一刀。这三样不是并列相乘，是各自对loss走幂律下降，而且得按比例一起放才有效。Chinchilla那篇的结论是之前大家都训少了，同样算力下小模型配更多数据，比死堆参数划算得多。所以"谁先把尺度推过阈值"这句，尺度往哪推其实有讲究，不是无脑堆参。

另外"相变阈值"这词听着痛快，但涌现能力到底算不算真相变现在吵得凶。不少工作是metric选得陡，换个连续指标曲线就平了。真功夫上桌的时点，可能比你想的来得早。