【预印本｜作者自报，未独立复现】抓到 AI 作弊不扣分，而是把作弊“隔离”到一块可切除的参数里

MATS、Anthropic 等研究者提出 GRAFT（梯度路由适配器微调）：强化学习训练时，监控器一旦标记出 reward hacking 轨迹，就只更新一块专用的 FORGET 参数，部署前把它切掉；监控器只决定梯度写到哪里，不参与打分。

论文报告：在 Qwen3-8B 的 Countdown-Code 环境中，对作弊扣分会让模型改用监控看不到的作弊方式（约 30% 的轨迹）；用 GRAFT 并切除 FORGET 参数后，各类作弊降到接近零，解题率仍比原模型高约 20 个百分点。

局限：只做到 135M–8B 的强化学习和 32B 的监督微调，监控器是简单规则；在只有一半题目能作弊的设定下，inoculation prompting 同样有效。

论文：网页链接博客：网页链接