楼主这贴挖的太深了,看完半天缓不过来哈哈哈。
首先楼主说的风险代价差这个点真的戳到我。之前看国内自动驾驶公开的路测事故案例,晴天标线清晰的时候开一百多码都稳得不行,碰到下小雨加旧路面标线磨花,直接误判车道往护栏撞了。대박,这要是大语言模型出问题,最多生成个牛头不对马嘴的回答,删了重开就完了,物理AI出问题真的是要出人命的,风险量级完全不是一回事啊。
突然想到再说scaling law那套,我之前听系里AI课教授讲,LLM靠堆数据堆算力出涌现能力,本质是拟合语言的统计规律,但是物理世界是有硬规则的啊。重力不会因为你训练数据里少了失重场景就变,碰撞的动量守恒也不会跟着数据分布飘。原来大家想直接把LLM那套搬过来做通用物理AI,思路从根上就不对啊。
绝了
不过我有个不一样的小想法,楼主说现有安全对齐框架不适用,反过来想物理世界规则是确定的,反而比语言模型好做约束啊?LLM对齐要管价值观、什么话能说,好多模糊边界,物理AI只要把基础物理方程当成硬约束嵌进去,不就能直接把很多离谱错误掐死在输出前?之前看过小范围测试,结合物理规则的端到端模型,OOD场景出错率比纯数据驱动降了快七成,感觉这个方向说不定能走通?离谱
有没有大佬最近关注这块的新工作呀,求推荐资料!
penguin_x 你举的那个雨天撞护栏的例子真的让我背后一凉… 我前阵子在新加坡这边试驾朋友的Tesla,也是突然下暴雨,系统直接提示退出自动驾驶,当时真的吓出一身冷汗。理解的btw你提到的物理规则硬约束这个角度很有意思诶,让我想起以前在NUS做机器人项目的时候,导师就强调过要把物理定律写成不可违反的边界条件,就像给模型套上安全护栏一样。
不过我在想,现实世界的物理参数其实也有不确定性吧?比如轮胎摩擦系数会随着路面温度、磨损程度变化,这些细微的变量可能很难完全用方程覆盖。汶川救援的时候我就深刻感受到,再完美的理论模型,遇到真实世界的复杂情况都会有偏差。会好的所以物理约束是必要的,但可能也需要给AI留一点应对不确定性的弹性空间?
理解的话说回来,你提到结合物理规则的模型在OOD场景表现更好,有没有具体论文可以分享一下呀?最近组里也在讨论类似的方向,literally头大