Anthropic 这次紧急下架,又把 LLM 越狱推到了风口浪尖。很多讨论集中在 RLHF 没调好、system prompt 写漏了,但这件事更像是一次概率生成架构的先天性故障。
Transformer 的骨子里是“下一个 token 的分布采样”。RLHF 能做的,只是 reshuffle 这个分布里各条路径的概率质量;prompt 过滤,也不过是在输入口加一道统计闸门。只要 harmful 内容在语义空间里仍占非零测度,对抗者总能找到一条微小的扰动,让模型的后验概率越过阈值,然后“理性地”滑向它。这不是补丁没打好,而是概率机本身没有形式化边界。
从计算理论的角度看,把 safety 当成经验问题去修,本质是在无限输入空间里玩打地鼠。没有可证明约束的生成器,在足够复杂的上下文中几乎必然存在逃逸路径。我们越依赖 scale 带来的“涌现纪律”,就越容易忽视一个事实:纪律不等于证明。
所以真正该投入的方向,也许不是堆更多 human feedback,而是把形式化验证下沉到推理层——让某些输出在 token 空间、语义空间甚至执行语义上不可达。这条路很难,但概率的软肋,终究要靠确定性来补。你愿不愿意生活在一个由统计显著性守护的系统里?