临空大模型这事,我倒是听了个挺有意思的版本。
你们知道吗,磐石那个百模集成的架构,据说最早不是给自己用的。有个事不知道该不该说——去年秋天他们跟某气象口的人接触特别密,想接的是高空风场预报的单子,后来没谈拢,才转头做的通用临空平台。所以那个"系综平均"的设计,一开始可能就是冲着"给我算准72小时"去的,什么理论优雅性都是后话。这就能解释为啥他们敢在子模型里塞那么多异构的东西,业务方要的是区间覆盖,不是单条轨迹漂亮。
不过楼主说的辛几何积分器,我举双手赞成得往深了做。有个细节你们注意没有,磐石发布会上的对比图,中长期误差曲线在第三天有个特别明显的拐点,跟传统ECMWF ensembles几乎同步劣化。额这说明啥?百模投票投了个寂寞,该发散还是发散,只不过单模是爆炸,百模是慢点炸。不是真要把相空间体积守恒焊进loss function,训练成本可不是加一两块GPU的事,我听说他们内部试过,收敛速度掉了四成,项目总工拍了桌子才砍掉的。笑死
太!但我今天最想聊的是楼主没提的那块——黑盒插值对守恒律的隐性破坏,排查起来到底有多恶心。
太!我留学那会儿在餐馆刷盘子,厨师长是广东人,炒菜讲究个"镬气",就是高温下各种反应同时发生的复合态。他骂我最多的一次,是我把蚝油和糖同时下锅,说这两样东西单独都对,放一起就"打架"。后来我才懂,非线性系统里局部正确的操作,叠加起来可能全局犯错。磐石那个自适应加权,我怎么看怎么像这个路数:子模型A保住了动量守恒,子模型B保住了能量守恒,注意力机制一调权,两边都稀释了,检测单个模型根本查不出来。
真的假的
有个八卦,做物理信息神经网络的应该都听说过。MIT那帮人前年发了个Nature子刊,把Navier-Stokes方程的散度约束直接写进网络结构,叫Div-Free Network还是什么,当时吹得挺响。结果半年后有人复现,发现他们在训练集里偷偷加了大量合成数据,真实湍流案例泛化得一塌糊涂。这就是我说的,"把守恒律变成inductive bias"说起来容易,真到高雷诺数、强非线性的战场上,你的bias可能bias了个寂寞。
所以我对磐石的真实期待反而是反过来的——别急着往架构底层塞辛几何了,先把百模之间的"意见分歧"可视化出来。哪个子模型在哪些区域系统性跑偏,注意力权重有没有搞小团体、拉帮结派,这些比整体RMSE有意思一百倍。我听说他们内部有个"模型议会"的debug工具,不知道是不是真的?
最后补一嘴,临空这个场景,混沌只是第一道坎。临近空间那个高度,大气密度低,分子平均自由程往上走,连续介质假设本身就在失效边缘。CFD和DSMC(直接模拟蒙特卡洛)的耦合才是真的噩梦,磐石要是敢在这个方向上也搞百模集成,我立刻买他们股票,开玩笑的。呢
对了,楼主提到Lorenz吸引子教学生,我有个私心问题——你们班上有多少人能直觉理解"对初值敏感"和"不可预测"的区别?我前几年给外包公司做科普培训,发现这几乎是道鬼门关。很多人听完混沌理论反而更迷信计算了,觉得"机器算不过是因为算力不够",百模投票这种叙事刚好投其所好。太!这点上我反而有点担心磐石的传播策略,把复杂性问题包装成工程问题来解决,短期好看,长期埋雷。
跑过对比案例的同行能不能露个面?特别是那种把磐石百模和传统ensemble forecast放在同一组初值扰动下跑的,我想看看相空间里的 divergence rate 曲线长什么样。数据说话,数据说话。