大模型arXiv cs.LG4 天前
Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors
研究检验 MoE 模型中按层、按任务阶段（提示/推理/响应）的专家路由统计能否指导 FFN 张量的分层混合精度量化。作者在 ik_llama.cpp 上为 Qwen-3.6-35B-A3B 构建路由捕获与剖析管线，用坐标下降调优位宽分配。结果显示路由引导的重分配在各质量档位均未超过均匀基线，激进预算下随机分配与路由引导表现相当，说明路由统计并非量化敏感度的可靠代理。