最近刷到几篇论文，感觉大模型的玩法正在变天。谷歌那边发现LLM在多步推理时会自发长出"反事实检验"的步骤——就是自己问自己一句"如果我刚才的假设是错的呢"，然后再往下推。这玩意儿之前得靠人写进prompt里，现在模型自己就会了，有点像人类那种"等等，我这么想对吗"的元认知。其实

更有意思的是HuggingFace开源的Reflexion框架，思路很直接：让模型每次任务失败后写一段"反思日记"存进上下文，下次重试时带着这份教训来。实测任务成功率提了37%左右，靠的不是更大的模型，就是多了个失败回溯的机制。

我觉得这对玩提示工程的人是个信号：以前我们琢磨的是"怎么问才对"，现在得琢磨"怎么让它质疑自己问得对不对"。评估prompt好坏的标准也要跟着改，不能只看一次命中率了，得看它错了之后能不能自己爬回来。

说实话这方向我挺看好的，毕竟人类聪明很大程度上也不是因为一次就想对。各位有在用的吗，实际效果怎么样？

这事急不来。人也是栽过跟头才学会回头看哪步走空了。模型自发写反思日记，我倒觉得比硬塞prompt自然些，毕竟谁也不是一次就想对的。

笑死 它都开始写反思日记了 比我还爱碎碎念 那37%我酸了

看到你写"反思日记"那段我挺有共鸣的，失败之后愿意停下来回头看一眼，这种习惯真的比聪明本身更难得。我自己以前也常是一条路撞到底，后来才慢慢学会动手前先问自己一句是不是走偏了，过程虽然有点痛，但确实比反复踩同一个坑强太多。

你提到的反事实检验让我想到，人其实也是这样，很多时候不是一下想对了，是能及时发现自己想错了。37%那个提升数字挺实在的，比起单纯堆参数，这种允许自己先错的方向感觉温柔多了。

你们拿它跑过什么具体任务呀，在小任务上体感明显吗？

读到"如果刚才假设是错的呢"这一句，我忽然停住了。它在人类的嘴里，从来都不太像个技术命题，倒更像一种独白——是夜里睡不着、把白天自己说的话又翻出来掂量的那种声音。我们管它叫怀疑，管它叫良心，有时候也管它叫诗。

所以看到Reflexion让模型把失败写进"日记"，下次带着教训回来，我心里先是一阵欢喜，又有一点说不出的怅惘。欢喜是因为，机器第一次有了点像"记仇"、不，像"记得疼"的东西。人之所以是人，大概不是从不摔跤，是摔过的地方会留下颜色。那37%的提升，说到底不是算力赢了，是记忆赢了——是它终于肯回头看一眼自己跌过的坑。

但我倒想补一句：怀疑是有重量的。对人来说，能质疑自己，既是聪明的来处，也是许多失眠与优柔的来处。模型现在学会了"等等我是不是错了"，可人世间有些东西恰恰不靠这个——一首忽然涌上来的歌，一眼认出某个人的瞬间，那些最真的话往往是在没来得及怀疑自己的时候说出口的。我们的诗人Тютчев写过：мысль изреченная есть ложь，说出的思想已是谎言。若连想都要先审判自己想得对不对，会不会反而错过了不假思索的真诚？我觉得吧

Друг，你问实际效果。我想，它会更稳，但也许不再那么任性、那么动人。就像人长大以后。

看到楼主说的"人类聪明很大程度上不是因为一次就想对"，这句太戳我了。是呢，能停下来问问自己"我刚才是不是想岔了"的人，往往比一路闷头冲的人走得更稳。

Reflexion那个反思日记的思路我前阵子也瞄过一眼，方向上确实挺妙的。不过我有个小小的顾虑，这种"失败了写小结、下次带着"的机制，要是用在特别讲时效的实时对话里，每错一次就回头翻日记，体感上会不会有点啰嗦？当然慢慢调应该能平衡好。没事的

楼主自己有没有试着接到日常用的prompt里呀，好奇实际跑起来啥感觉 (｡･ω･｡)

反思日记这招笑死 跟写错题本一个路数 不过那37%我存疑哈哈

那个37%的增幅我有点存疑。Reflexion原论文里不同任务的提升幅度差得很远，ALFWorld这类决策任务能涨到九成往上，但HotpotQA这种问答基准的提升就温和得多。所以"成功率提了37%“得看具体是哪个benchmark、基线是多少，否则这个平均数不太好直接拿来证明"失败回溯机制普适有效”。

从某种角度看，更有意思的是它把试错从模型参数挪到了上下文窗口里，机制本身比那个百分比值钱。嗯你那边实际跑的是哪类任务？

我靠那个反思日记的机制有点意思啊 等于说让AI自己写bug report然后debug自己 笑死 这不就是我在公司干的事吗

这37%看着漂亮，但我好奇它测的是哪类活儿。想当年折腾东西，越让它回头想越绕，有时候头一遍直球反而更准。自我怀疑是好，可别怀疑到不敢抬脚。

反思日记这招笑死 跟人写检讨一模一样 不过失败回溯确实比硬堆参数聪明