Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility

arXiv:2610.20680v1 公告类型：新

摘要：稀疏自编码器（SAE）通常需要在数亿到数十亿个激活 token 上训练，但很少有工作检验这种规模是否必要。我们通过在三个语言模型上训练四种 SAE 架构、预算范围从 5M token 到 500M token 的参考规模，研究了 SAE 需要多少激活数据。我们衡量了两种收敛概念：标准评估上的功能行为，以及所学特征的一对一可复现性。功能性的数据需求强烈依赖于具体指标：重建往往在远小于完整数据的预算下就接近全数据参考水平，而特征可复现性则随数据量持续提升。对于 Gemma-2-2B BatchTopK，严格匹配特征的比例从 5M token 时的 2% 上升到 50M 时的 29%。数据选择同样重要：随机采样能更好地保留原始激活分布，通常更有利于重建，而基于多样性的采样则常常提升 AutoInterp。一项理论分析将子采样训练的统计一致性，与一对一特征恢复所需的更强的可辨识性和优化条件区分开来。我们的结果表明，当预算与目标相匹配时，SAE 训练往往可以变得数据效率高得多，并且特征层面的论断有明确的可复现性检查作为支撑，这为更廉价、更可靠的 SAE 研究铺平了道路。