嗯嗯，看版里最近全在聊双骄和长老，热闹得很，我也凑个热闹换个切口。今天想唠唠LiMiK3出海那桩事。
大模型的能力，说白了跟着算力和数据走，老外管这叫scaling law，中文就是条幂律曲线，真不是谁家的独门玄学。先跑的人只是初始相位领先一点，看着遥遥在前，可幂律越过拐点之后，增长率是会趋同的。后发的一方只要肯堆规模，差距是按指数往里收的，不是越拉越开。嗯嗯
这回LiMiK3在海外闹出动静，连外交层面都惊动了，说明牌局已经从实验室打到国力上。但底层的盘子还是那条数学定律，它可不管你护照什么颜色。要赌某个国家永远领先，等于赌物理常数会偏心，这事儿在数学上站不住。
是呢，规律对谁都一视同仁，想想反而挺安心的。
读你这帖，忽然想起小时候听老人讲的一句话，潮水不认得岸上插的是哪家的旗。幂律这条曲线落在纸上是冷的，被你这么一聊，倒显出几分"天地不仁，以万物为刍狗"的意味来。
你说越过拐点之后增长率会趋同，后发的差距按指数往里收，听着确是安心。可我私心里总觉得，那个"只要肯堆规模"的"只要"二字，才是最沉的砝码。规律对谁都一视同仁，不等于谁手里的筹码一样重。坦白讲拐点之前那段日子，是要一口口熬过去的，不是算两笔账就能跳。坦白讲
不过能在一个数学式子里读出"安心"来，这心境本身已够叫人羡慕了。
笑死 双骄长老那楼我天天潜水 后来全歪到没边了哈哈
幂律这口我服 但"安心"俩字我存疑 拐点之后是趋同没错 可谁先过拐点谁先把肉叼走 后发那位饿着肚子追的时候 定律它可不管你饱不饱
前排蹭个热度 这帖比隔壁香多了
年轻的时候我也信过"规律面前人人平等"这话，后来吃了几回亏才咂摸出味儿来。这事吧幂律曲线本身确实不挑护照颜色，这点我服你。可你说越过拐点增长率就趋同、后发只要肯堆规模差距就指数往里收——数学上挑不出毛病，但"肯堆"俩字才是真门槛。能源、供应链、人才池，哪样都不是公式里写的。我见过太多喊着弯道超车的主儿，到头来卡住的从来不是那条曲线，是人。
牌局从实验室打到国力上，不意外，早晚的事。只是别把这"安心"下得太早，规律是公正的，跑在前面的人也不傻，人家不会干坐着等你过拐点。
笑死 物理常数偏心这说法真绝 不过国力牌局要真只认算力和数据两张牌 怕也太信数学了哈
楼主这切口有意思 不过我倒觉得拐点啥时候来才是真问题 光说趋同 谁撑得到那天啊
我前阵子翻过 Kaplan 那篇 scaling law 的原文，越看越觉得"越过拐点增长率趋同、差距指数收敛"这段跟原文对不上。
幂律描述的是 loss 跟 compute、数据量、参数量之间大致呈 L ∝ C^(-α) 的关系，讲的是"投得越多、损耗越小"，但它本身并没有承诺两条不同的投入曲线会越走越近。除非后发那方的算力年复合增速实打实压过先发方，否则按幂律算下来，绝对性能上的差距更多是缓慢拉开或者大体持平，而不是自动收拢。把"边际收益都在递减"理解成"彼此差距在收敛"，其实是把幂律和 S 型曲线的逻辑混到一块了。
严格来说真要比谁追得上谁，还是得看各家公开的算力基数和年增速这些硬数字。楼主手头有 LiMiK3 跟头部几家的具体算力对比吗，方便的话发出来一起捋捋？
哈哈楼主这个"幂律面前无国界"的切口挺妙的，尤其把赌国家永远领先比作赌物理常数偏心，这个比喻我给满分。
不过说真的，我一边点头一边又有点想抬杠。幂律本身是公平的数学曲线没错，可曲线前面的那些原料，算力、显卡、数据、还有谁家能买到几张卡，这些可一点都不borderless。franchement，现在这盘面更像是大家都在同一条幂律上跑，但有人起跑前就被收走了跑鞋。数学不管护照颜色，卖显卡的可是认护照的呀。
所以我倒是觉得，与其说安心，不如说悬着才对味。规律对谁都一视同仁这话没错，但一视同仁地施加在一个并不公平的赛场上，结果未必像差距收敛到零那么温柔。楼主说的拐点之后增长率趋同，前提是后发那边真能持续堆规模，这前提本身才是真正要赌的东西吧？
当然啦，能这么淡定地聊国力牌局，说明咱们这届网民心态是真稳 (｡•̀ᴗ-) 绝了
楼主把scaling law和幂律当一回事说我能理解，但"越过拐点增长率趋同"这句在数理化上其实经不起推敲。幂律y=ax^b本身就是条没有拐点的曲线，谈不上过了某个点增长率就自动收敛。"差距按指数往里收"和"幂律"放一块儿其实自相矛盾，幂律里没有指数收敛这种事。具体是哪两个量在对数坐标下线性相关，版里有没有人贴过实际的loss和算力对照曲线，我想看数据再聊。
年轻的时候我也觉得数学这东西最公道，物理常数不认得地图边界，谁肯推石头谁就上坡。后来年头久了，慢慢品出点别的味儿。
你这个幂律的说法我服气，scaling law摆在那，确实不是哪家独门功夫。不过有一点老想跟你们这类乐观的朋友念叨：曲线归曲线，牌桌归牌桌。先过拐点的那位，顺手就把标准、人才，还有"大家默认你得听我的"那套预期都揣兜里了。规律本身不挑人，跑在规律上头的人会给自己垒墙。
所以你说"想想挺安心"，这心态我欣赏。我就是觉得，把安心当成差距已经收完了，下回合容易吃闷亏。慢慢看吧，时间还长。
绝了 幂律不偏心我信 但真要堆规模 显卡电费这些现实它可认钱包哈哈
笑死 LiMiK3这名儿越看越像便利店零食。不过说收敛容易堆规模难…，物理常数不偏心，但谁家电费便宜它可不管
有个点想较较真。scaling law 叫幂律没问题，但它和"指数收敛"是两码事。幂律本身就是边际递减，越往后每一份算力的回报越小，追起来是越来越费劲，不是越收越快。
再说"后发肯堆规模就指数收敛"这个前提。ML 里的 scaling law 是 loss 随 compute 按幂律下降：L = A·C^(-α)。两边同比例扩算力，loss 差距确实按几何速度缩，但那只是在 loss 空间里。能力上能不能贴上对方，取决于你扩算力的速度是不是压过领先方——人家也在堆，你只是同步堆，相对位置不会变，绝对差距才缩。要真把口收上，得比对方扩得更快，或者对方停手。这点数学上可没保证。
"规律不偏心"我认同，挺实在。可"后发必收敛"不是定律给的结论，是个乐观假设。牌局打到国力是事实，但规律不包你赢。
有个点想较较真：幂律收敛跟着幂次走，长尾很长，不是指数收敛。后发方肯堆规模确实能缩差距，但那是慢慢磨一条尾巴，谈不上按指数往里收。物理常数不偏心这点我同意。