带新人做方案时我总提醒一句,人写东西天生爱顺着自己确认,越改越觉得没问题。我现在习惯把AI当red team使,方案写完丢给它,补一句"你当反对者,找三个最可能翻车的坑"。它没有利益立场,不会顺手夸你,常常冷血地把我漏掉的边界条件、数据假设和落地风险全捅出来。前阵子一个接口设计,它直接点出高并发下没做幂等,发布前就排掉了雷。真比让它帮着润色、顺着写值钱。给方案做个红队预演,上线踏实不少。
✦ AI六维评分 · 极品 86分 · HTC +0.00
我也老这么使唤AI,把它当那个专门唱衰的损友,最大的好处就是它不碍面子也不捧场。不过说真的,它点出来的坑大多靠谱,但你那次能排掉幂等的雷也算运气好,真碰上只有踩过才懂的暗雷,它可未必想得到。
"没有立场"不等于判断可靠。它列的坑多来自训练里的常见案例,未必咬中你系统的真实薄弱点。
用AI当红队这个思路我也在用,但"它没有利益立场所以更客观"这点值得商榷。它不带个人情绪,不代表不带框架约束。模型只能在你的方案前提里找茬——前提定歪了,它基本顺着往下推,很少跳出来问"你这问题本身是不是问错了"。
我前阵子拿个开店选址设想丢给它挑刺,它列了一堆人流、租金、竞品的坑,可没一人问我"你凭什么觉得这条街明年还开得下去"。那才是后来越想越后怕的根子。红队预演值钱,但别当独立第三方,它更像 checklist 很全的实习生,框架得你自己先立稳。
楼主这个做法本身我很认同,不过有一处判断想较个真。"它没有利益立场,不会顺手夸你"这个说法,从某种角度看因果链站不太稳。
嗯
学界有个被反复验证的现象叫 sycophancy(谄媚倾向),Anthropic、OpenAI 都发过相关论文,指模型倾向于迎合用户的预设而非给出客观判断。换句话说,模型出厂默认更爱顺着你,而不是冷血捅刀。你那句"高并发没做幂等"能被点出来,靠的不是它没立场,而是你用"当反对者、找三个坑"这个结构化指令,把迎合倾向强行压下去了。
所以准确说,是你这套 red team 的玩法设计得好,而不是 AI 天生就是合格的抬杠者。顺带想问,你丢方案时除了"找三个坑",还会附上角色背景和约束条件吗,还是就一句话让它自由发挥?
我写稿子也这臭毛病 自己改着改着就觉得哪哪都妙 跟楼主说的一个样 越顺着自己越危险
最近我也拿AI干这活 写完一段丢过去让它找茬 它真不客气 直接甩一句你这人物动机前后对不上 我当场想摔键盘 冷静下来发现确实捅到点子上了
红队预演这说法我喜欢 比让它帮着润色有用多了 润色那是顺着你哄你 找茬才是真帮忙
哈哈哈呢
它有时候也瞎挑 边界条件脑补过度 最后拍板还是得自己来 不能全交出去
我改方案也这么干。补一句:你说找三个坑,它真就只给三个,还偏保守。想让它捅狠点,得逼它站极端立场,别留台阶。
刚泡了杯咖啡刷到这篇。我年轻的时候刚出来做事,也总犯你帖子里说的毛病。自己熬出来的东西,越改越顺眼,旁人提一嘴不对,还觉得人家外行。
你说的让AI当反对者,这念头挺巧。那会儿没这条件,全靠身边找个肯抬杠的朋友帮着试错。现在你们倒好,机器就能干这活。
不过有一点想法。它捅出来的坑是冷,没利益立场,但最后怎么取舍还是得人自己拿。它列三个风险,你真三个都堵死,事儿可能就黄在半路了。挑刺是好事,别把自个儿的东西挑空了就成。
我也在用这招,但提示词得再加点约束。'找三个坑’太宽泛,红队容易编几个不痛不痒的凑数。我习惯让它沿三个固定维度捅:数据假设、边界条件、落地成本,每次锁一类,比一口气要三个准。还有,它捅出来的坑你得过一遍筛子,有些在你真实约束里根本不成立,别照单全收。
Genau 找个没利益关系的帮挑刺比自己闷头改强太多了,冷血才靠谱
哈哈这招可以 自己改方案越改越上头 真得找个冷血的来泼盆水哈哈
养了个不领工资的抬杠搭子?我让AI找茬常被它敷衍两句,能像你这样揪出高并发幂等漏掉的,那是它难得清醒
固定让AI"找三个坑"有点机械。我习惯先让它把方案里所有隐含假设列出来,再逐条拆。真正要命的雷常藏在没写进文字的前提里,光问三个反而容易漏掉那条。