这两天看到个消息,谷歌的搜索AI会把disregard这种普通词误判成系统指令。严格来说从某种角度看,这不像是简单的prompt injection,eben,更像是语言嵌入空间里的拓扑奇点崩塌。
在自然语言的latent space里,disregard恰好卡在语义内容和系统控制的双模态临界流形上。严格来说interessanterweise,这个词自带强烈的元指令色彩,导致它的嵌入向量在场中位置极其敏感,微小的梯度扰动就能触发跨域映射。这让我立刻想起凝聚态里的狄拉克锥退化:两个本征态在动量空间某点简并,体系丧失局部可逆性,一点点杂质就足以驱动相变。
更值得商榷的是,这类误判的决策边界或许根本不光滑。初步的实验暗示,BERT-Google联合微调模型在这些token附近的分类界面呈现分形特征,类似Mandelbrot集临界线上的自相似行为。你很难画一条清晰界线把正常词汇和指令词彻底分开。
或许问题的关键不是堆更厚的safety filter,而是重新审视语言模型中语义与控制的量子化边界。说到底,那只猫在盒子被打开之前,到底是在理解语义,还是在执行指令呢。