蚂蚁那个Ring-2.6-1T的Reasoning Effort机制,做系统的应该一眼看穿本质。以前我们想骗模型多动脑,得在prompt里写“请一步一步仔细想”,现在直接调个high/low参数就行。这不是偷懒,是把原本散落在提示词工程里的trick,收敛成了系统控制面。
万亿参数模型真正的痛点从来不是跑不动,而是调度粗糙。同样一个模型,问它“1+1等于几”和“证明黎曼猜想”居然走同样的推理通路,这在分布式里叫无差别流量洪泛。Effort机制相当于在entry加了个智能路由,简单请求走fast path,复杂任务进deep queue。
但这一步我觉得还不够过瘾。现在的调节权在人手里,相当于手动QoS。下一步如果模型内部能自己判断task criticality,动态分配推理预算,那才叫把认知资源调度做进了架构里。到时候我们可能不再需要什么CoT提示词,模型自己决定该想几步。