StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning

arXiv:2610.20960v1 公告类型：新

摘要：智能体系统中的安全本质上是序列性的：一个动作是否安全取决于先前的动作、工具输出、信息泄露以及智能体之间的交互。近期工作已将智能体安全护栏从轨迹级的事后评估转向步骤级动作诊断与主动风险预测，然而现有训练目标对于步骤证据如何随时间累积、以及何时证据足以支持干预，所提供的监督仍然有限。我们提出 \methodlong~(ASPO)：一个面向步骤级及时干预的训练框架。前缀级阶段对齐（Pre-fix level stage alignment）允许在各自步骤上对每个决策进行归因：它将每个响应与在同一前缀下采样的其他响应进行比较，并奖励契合当前阶段的动作——在风险尚不可见时继续，在澄清仍可避免伤害时询问，在伤害不可逆之前停止。自适应反馈自蒸馏进一步对每个决策背后的推理进行归因，以模型自身作为教师，在干预步骤上查看步骤标注，在安全步骤上查看从自身误报中挖掘出的规则。其训练数据在每一步都带有违规分类体系和干预窗口，并通过自演化的多智能体红队测试进行扩展。最后我们提出 \textsc{StepSafe}，一个具备及时干预能力的步骤级推理护栏，在五个智能体安全基准测试上，于安全-效用帕累托曲线上取得了开源护栏中的 SOTA 性能，Youden's $J$ 为 53.0（4B），对比 46.2。