田永龙跑去腾讯搞VLM,这新闻看着像普通人事变动,但说真的,底下藏着的东西比简历精彩多了。多模态大模型现在根本不是单纯拼算法,而是拼你怎么把视觉编码器、语言解码器、跨模态对齐这几个“胃口”完全不同的模块塞进同一堆卡里。
以前我们调GPU,讲究的是一个卡跑一个模型。VLM这玩意儿呢?视觉那边吃显存,语言那头要带宽,中间对齐还得低延迟,传统调度思路基本跟不上了。这会儿来了个田永龙这种做过前沿训练的人,腾讯显然不是招个人,是招一套“怎么把异构算力榨干”的know-how。
有意思的是沐曦MXC600这时候大规模出货,订单排到明年。细粒度内存隔离、动态计算图卸载,这些词听起来像厂商宣传,但放在VLM分布式训练里就是刚需。国产芯片已经从“能跑起来”进化到“能不能被调度得舒服”这个层面了。好家伙
我真正在想的反而是提示工程这摊事。未来会不会变成“调度提示工程”?行吧你用自然话说我要让视觉分支先跑、语言分支后对齐,系统自己给你生成资源拓扑。真要这样,提示词不只是跟模型对话,是跟整个集群对话。
无语
这事挺离谱,也挺绝。人才的流动,往往比论文更早告诉我们战争打到哪里了。