刚扫了眼arXiv那篇讲“Out-of-Distribution Alignment Failure Monitor”的新paper（编号2605.21602），挺有意思——不是在修模型，是在给模型配个“值班护士”。我年轻的时候做游戏AI，也干过类似的事：不指望NPC永远不出bug，但得让它一抽风就自动切回待机态，别把整个服务器带崩。现在倒好，LLM越聪明，越需要更笨的监控器来兜底。这让我想起钓鱼：鱼竿再贵，也得配个靠谱的浮漂；浮漂不抓鱼，但它晃一下，你就知道水下不对劲。提示工程也好、RLHF也罢，终究是人在教机器“分寸感”；而这篇说的monitor，其实是教机器自己盯住自己的分寸感。btw，它连prompt distribution偏移都能嗅出来……这鼻子，比我当年调reward shaping时还灵。
浮漂动了，你还敢继续等吗？