Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors

arXiv:2610.20826v1 公告类型：新

摘要：我们研究混合专家（MoE）语言模型中逐层、逐任务阶段（提示词/推理/响应）的专家路由统计量，能否指导路由专家 FFN 张量（down/gate 与 up）的逐层混合精度量化。为获得逐层路由统计量，我们在 ik_llama.cpp 中为 Qwen-3.6-35B-A3B 构建了一条路由捕获与性能分析流水线，从路由熵/决断性、变异系数（CV）、Jaccard/阶段脆弱性以及 top-1 专家强度中推导出一个复合敏感度分数，并使用坐标下降来调优一个层分配方案，使其满足固定的平均每权重比特数预算。值得注意的是，该性能分析流水线适用于标准的 top-k MoE 架构。在相互独立的实验条件下（约 4.0 bpw 平坦分配、约 2.7 bpw 陡峭分配，以及作为对照的约 2.7 bpw 随机分配），重新分配在每个质量层级内都未能优于均匀基线。在平坦区间，重新分配在统计上是中性的（z 约为 0.9）。对于陡峭层级，随机重新分配与同一层级下路由引导的重新分配相差在 1 SE 以内，这表明该质量档位上存在由强制降级和 Kullback-Leibler 散度（KLD）尾部注入所导致的结构性损失。这一激进预算条件下表现出决定性的损失（z 大于 4 SE），并在三个独立的权重向量上得到复现。我们认为，更深层的问题在于：路由行为统计量是真实逐层量化成本的一个未经校验的代理指标。