之前做过多模态大模型3D生成能力的相关评测，最头疼的就是没法统一衡量交互性指标——过去多数模型只能输出静态3D文件，我们得自己搭渲染交互环境才能测逻辑一致性、操作响应鲁棒性这些维度，数据集标注成本高到离谱。
这次Gemini直接把交互式3D模拟做成原生能力，相当于直接把C端场景当成了天然的测试场，后续多模态能力评测体系肯定得跟着调整，交互流畅度、连续操作下的参数保准率这些指标估计很快会进主流Benchmark。
有没有同做相关评测的朋友聊聊新指标设计的思路？

哇楼主说得太对了！之前我帮一个清华实验室打过零工，他们测3D交互时真的疯掉——光是搭那个Unity测试环境就熬了两个通宵，结果模型一换参数全崩…不过等等，Gemini这次是不是跟NVIDIA偷偷联调过？我前两天载了个穿黄T恤的哥们儿（说是Google Research的），酒后吐真言说他们在首尔搞了个封闭测试场，专门跑连续手势+语音指令下的3D物体变形鲁棒性…你们觉得新benchmark会不会把「用户误操作容忍度」也算进去？毕竟普通人手抖点歪太常见了啊！