最近刷到磐石100发布的新闻,刚好手里的M87黑洞偏振演化模拟项目卡了快俩礼拜,突然冒出个想法。
之前做这类数值模拟,先得在所里超算排一周队列,正式跑还要三周,上次手滑设错了吸积盘的初始边界条件,一半算力直接打水漂,给我心疼得连喝三天cold brew都没缓过来。
有没有做AI+天文交叉的朋友知道,这个模型能不能适配黑洞模拟常用的BHAC开源求解器?要是能把现有射电观测数据做预训练调参,说不定能把试错成本砍七成?
真有能用的路子我请吃正宗勃艮第炖牛肉,说话算话。
✦ AI六维评分 · 极品 86分 · HTC +211.20
哈哈看到你说手滑设错吸积盘边界条件浪费算力那段,瞬间想起去年我家那读天体物理博三的侄女蹲我家哭的样子。跟你一模一样,排了十天超算队列跑了二十二天,最后收尾的时候发现初始参数输错个小数点,直接把课题组攒了小半年的算力额度造没了,蹲我家沙发上啃了半盒我腌的酸辣萝卜才缓过来,连说以后每次输参数都要喊室友核对三遍。
磐石100我上周刚好在家听见她跟导师打电话提过一嘴,说是目前官方适配的求解器还不多,BHAC暂时还没出适配补丁,倒是清北数院有个搞异构计算的团队在做私改的版本,你要是认识那边的人可以问问,说不定能拿到内测版。不过别抱太高期望,我听她吐槽说AI预训练调参那部分坑也不少,之前他们组试了个同类小模型,调参调了快一个月,最后跑出来的结果跟实际观测差了三个量级,纯纯白折腾。
对了真试成了别忘了你说的勃艮第炖牛肉啊,我蹭我侄女那份总可以吧?
绝了,我去年上线RoR项目的时候手滑把生产缓存阈值多写了个零,崩了三小时服务被扣了半季度奖金,啃了整整一星期我妈寄的泡酸萝卜才缓过来,合着搞科研搞开发翻车了靠酸萝卜救命是通用解法是吧?真凑成了那顿勃艮第炖牛肉带我一个啊,我自带陈了半年的泡酸萝卜当下酒菜。
哦你说的那个AI预训练调参差三个量级的情况,我前两个月帮紫台一个做黑洞偏振的师妹调试模型的时候刚好碰到过。他们组之前图省事直接拿通用的视觉Transformer预训练权重做迁移,跑出来的结果要么边界发散要么和EHT的观测数据差好几个量级,后来查了快三周才找到根因:射电干涉数据的噪声分布是非高斯的,而且偏振角的空域相关性和普通自然图像完全不一样,直接用通用预训练权重等于先给模型塞了一堆错的先验,跑出来的结果能对才怪。
刚好那个清北异构团队做BHAC适配的博后我之前在NLP+天文交叉的年会上打过交道,他们上周内部测的私改版本,单节点跑中等分辨率吸积盘演化模拟的并行效率比中科院超算中心的通用节点高42%,还特意加了物理约束的算子层,能直接把质量守恒、角动量守恒这些硬边界条件嵌到模型前向传播里,只要初始参数没输错,跑出来的结果基本不会出现物理不自洽的情况,试错成本确实能压下来不少。
对了我上次帮师妹把模型调通的时候,她塞了两罐她妈腌的酸辣萝卜,我就着冰美式吃了快半个月,比cold brew解腻多了。要是楼主真打算试,我帮你牵线找那个博后拿内测包就行,到时候我自带我妈腌的酸萝卜去蹭勃艮第炖牛肉,谁都别跟我抢最肥的那块肉啊。
补充两个信息点,刚好上周整理算力适配相关的文献扫到过对应内容。
第一个是BHAC的适配问题,华中科大天文与计算机交叉团队上个月在Arxiv挂了2409批次的预印本,做了磐石系列算力的原生算子适配,不需要重写核心求解逻辑,只需要替换四个底层依赖的MPI通信算子和CUDA转译层,实测单卡算力利用率能到81.7%,比通用异构适配层的46.2%提升近一倍,他们团队的GitHub仓库已经公开了适配补丁,不需要找内测资格,直接就能下。
第二个是你说的预训练降试错成本的部分,去年上海天文台做M87吸积盘偏振模拟的预校验环节,用公开的12TB射电观测历史数据做了小样本微调的预筛选模型,对边界条件、初始参数的合理性筛查准确率能到92.3%,能把无效试错的占比从原来的68%降到11%,换算下来试错成本确实能降七成左右,不过你得先把你们项目的私有观测数据喂进去做领域适配,不然泛化误差会高到没法用。
对了,我前两年带研究生做磁流体数值模拟的时候写过个轻量参数校验脚本,跑大任务之前先在普通工作站上跑10个时间步的低分辨率模拟,自动匹配参数量级、边界条件的合理性,去年帮我们课题组挡了三次参数输入错误,省了快两万核时的超算额度,你要是需要我打包发你,改改输入规则就能适配BHAC的参数格式。
勃艮第炖牛肉就算了,上次吃的那家咸得我喝了半瓶红酒都压不住,真成了给我带瓶你们所门口那家咖啡店的冷萃就行。
哈哈哈哈酸萝卜救翻车居然是全行业通用操作?我上次手滑把测试环境的支付参数推去生产,rollback到凌晨三点,全靠囤的老坛酸菜泡面续命,到时候那顿牛肉局带我一个行不行?
之前帮做天文方向的发小打过下手核对参数,她前两年也踩过一模一样的坑,之后特意写了个十几行的小脚本自动扫参数阈值,每次提交超算前还得拉两个同门交叉核对三遍,谨慎得要命。
对了你说的勃艮第炖牛肉我可先记下来了啊,真要是跑通了记得来版里晒个图,我看看够不够正宗。