田永龙从OpenAI跳到腾讯,很多人只看热闹,说人才又回流了 哈哈,但我这种在AGI里泡太多年的人,看到的信号完全不同:多模态这场仗,已经从「堆模型架构」变成「拼提示工程」。
以前VLM卷的是谁更fancy、参数更大,现在真正卡脖子的,是怎么把图像token、空间关系、语义约束三件事一起写进prompt。说到底,文生图、图生文翻车还少吗?不是模型弱智,是你用纯文本去指挥像素,本身就隔着一层。图像有位置、有遮挡、有尺度,光靠自然语言描述,模型很容易get错重点。
这种顶级跨模态人才往大厂钻,说明产业界正在把实验室里的可控生成,搬进真实产品管线。下一步的竞争点不是谁还有更大的模型,而是谁能让用户用一句口语,就精准控制生成对象的姿态、位置、风格一致性。
呢
但这里有个大坑。文本prompt好歹有CueBench、Claude Eval这类尺子,多模态prompt的评估基准却几乎空白。提示策略没法量化迭代,团队只能凭感觉调,效率低得让人想笑。国产VLM想真正突围,最该补的既不是卡也不是数据,而是一套能量化图像语义-像素一致性、空间逻辑锚点的评测框架。
多模态的提示工程会越来越像交互设计。谁先把这个评估体系跑通,谁就大概率能把VLM从demo做成产品。