同步训练必须等最慢的样本，异步训练虽然提高了设备利用率，却会引入更严重的策略滞后和 off-policy；GRPO 又要求同一提示词生成一组回答，天然形成新的同步屏障。
研究团队提出 Single-rollout Asynchronous Optimization（SAO），核心变化是：每个 prompt 只生成一条轨迹，轨迹完成后立即进入训练，不再等待同组样本。
SAO主要包含四项设计：
🔷Direct Double-Sided Importance Sampling（DIS）：直接使用 rollout 阶段保存的 token log-probability 计算重要性比率；超出信赖区间的 token 不只是裁剪，而是完全屏蔽梯度。
🔷Faster Value Update：Critic 每次随 Actor 更新两次，更快追上不断变化的策略。
🔷Frozen-Attention Critic：冻结价值模型的注意力层，只更新 MoE 部分，降低梯度波动。
🔷Skip-Observation GAE：计算多轮 Agent 优势时跳过环境 observation，只连接前后两次模型 action。
在 Qwen3-30B-A3B 上，SAO 在 AIME2025、BeyondAIME、HMMT、IMOAnswerBench 分别达到 97.3%、74.8%、88.3%、74.0%；SWE-Bench Verified 达到 29.8%，高于加入 DIS 的 GRPO 的 27.0%。标准 GRPO 约在 160 步崩溃，而 SAO 稳定训练约 1000 步。
卷吞吐量和效率的时代过去了，SAO 证明了通过激进的 Token 级裁剪和单采样异步流，不仅能把 GPU 算力压榨到极致，还能把 Agent 的上限拉得更高。
对做 Agent RL、RLVR、代码智能体和在线学习系统的团队很有参考价值。论文下载好了，需要的可自取👇🏻
