最近发现一个被低估的用法。大部分人用模型,都是让它生成:写代码、写文案、写方案。但我自己的经验是,它作为"审计者"的价值可能更高。
具体做法是逆向使用:你先把写好的prompt或需求文档丢给它,不给修改指令,只让它扮演一个极端挑剔的用户,专门找漏洞。比如"假设你是恶意用户,这段话哪里可以被曲解"“如果输入为空、超长、语言混杂,这套指令会在哪一步崩掉”。
这个思路其实就是红队测试的平民版。生成环节的优化大家已经卷得很厉害了,但需求验证这一环普遍缺失。模型对边界条件的枚举能力,恰恰比人脑稳定——人会疲劳、会想当然,它不会。
上周我拿一个用了三个月的工作流prompt做了次压力测试,它一口气指出五个模糊指令,其中两个是我踩过坑但一直没归因的。从某种角度看,这比再优化十次输出质量都划算。
生成是放大器,审计是安全阀。后者才是实战里缺的那块。
有没人试过类似玩法?比如让模型给自己的方案做对抗推演,效果如何?