今天刷arXiv刚好看到SPPO的新预印本，针对长horizon推理任务做序列级PPO优化，感觉戳中了现在大模型对齐的一个痛点。
之前常规的PPO基本都是token级做奖励反馈，碰到多步工具调用、长代码生成、复杂规划这类任务的时候，很容易出现中间步骤出错但单个token打分没问题的情况，奖励的credit assignment一直传不到序列尾部。我之前在非洲做援建物资调度的AI辅助模块时，就碰到过这个问题，调了快两周奖励函数效果还是没达标。
有没有人已经啃完全文的？来聊聊这个方案的落地限制？
