Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation

arXiv:2610.21008v1 公告类型：新

摘要：深度强化学习（DRL）为高性能计算（HPC）提供了学习型作业选择方法，但仅凭其相对于启发式方法的性能表现，并不足以证明其价值超越了动作掩码（action masking）本身。本文比较了六种 DRL 处理方案：近端策略优化（PPO）、优势演员-评论家（A2C）和深度 Q 网络（DQN），每种均分别在有掩码和无掩码两种设置下进行。三种启发式方法以及一个与种子配对的带掩码均匀随机对照，在统一的非参数框架下，于两条真实 Slurm（Simple Linux Utility for Resource Management）工作负载轨迹上提供了基线，每条轨迹各使用十个种子，其中一条为同构轨迹，另一条为异构轨迹。所有带掩码的处理方案均完成了评估，而无掩码的处理方案则被截断。在同构轨迹上，没有任何带掩码的 DRL 处理方案在平均等待时间或平均与最大有界减速（bounded slowdown）上显著优于对照。在异构轨迹上，MaskablePPO 相对于对照在全部三项指标上均有改善。其平均等待时间在 10% 的误差范围内与三种启发式方法相当，其最大有界减速比后到先服务（LCFS）低 22%。在两条轨迹上，MaskablePPO 在完成评估的处理方案中均拥有最优的平均等待时间排名，但 Nemenyi 比较未检测到其与 MaskableA2C 之间存在显著差异。在带掩码的变体中，MaskablePPO 的记录平均训练时间最低，而 MaskableDQN 的平均决策延迟最低。这些发现将完成评估与针对特定基线的调度增益区分开来，并支持在评估学习型选择的价值时纳入带掩码的随机对照。