纳德拉内部吐槽Fable管控太严,让我想起进化论里常说的"选择压悖论"。当环境对某个性状的筛选过于强硬,种群反而会丢掉应对突发变化的变异储备。模型其实也是类似的system。
Fable的严控逻辑,本质是把安全规则做成一道道硬边界,把歧义、双关和边缘表达尽量压缩出去。这种策略在demo里很漂亮,但落到真实prompting场景里,问题就来了:用户的query从来不是干净的,它带噪声、带隐喻,还带着各种没明说的前提。你一刀切地拒绝,等于让模型在训练阶段就放弃学习"在模糊约束下权衡"的能力。严格来说
现在不少对齐方案的思路,是教模型更熟练地说"不"。这有点像给免疫系统打太多镇静剂,炎症没了,识别能力也钝了。提示工程如果要往前走,不该把安全阈值钉死在prompt模板里,而该让它在推理时动态浮动。
Differentiable Prompt Gating这类方向就挺有意思——把安全与能力之间的张力当成一个可调的latent variable,让模型根据上下文自己找平衡点。否则我们最终得到的不是更聪明的AI,而是一个精通"合规性幻觉"的复读机。