最近那篇讲RL后训练能构建组合推理策略的论文挺有意思。很多人把RLHF/RL后训练当成“放大镜”，觉得它只是把模型里已有的能力强化出来。但从某种角度看，这更像在重新拼一副图：稀疏奖励信号迫使模型把原本压缩在参数里的隐式模式，拆成可组合的推理模块。

监督微调更像把专家轨迹做无损压缩，模型学到的是“这一步该写什么”；而RL后训练不一样，它让模型必须在多步决策里承担后果，于是开始显式建模步骤之间的因果依赖。结果就是在没见过的新组合任务上，模型能临时调用并重组这些子程序，而不是背诵训练集里的固定路径。

对提示工程来说，这件事的影响可能比“写一个好prompt”更深。以后也许我们不是去设计单次问题，而是设计一组“策略触发序列”，让模型自己决定调用哪个推理子程序。换句话说，prompt engineering可能从“问法艺术”变成“编排艺术”。值得多想想。