大模型arXiv cs.LG4 天前
Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
研究稀疏自编码器（SAE）训练所需的数据量，发现功能指标（如重构）在小数据预算下即可接近全量参考，但特征一一复现性随数据持续提升，且随机采样优于多样性采样。该工作揭示数据效率与目标匹配的重要性，为更廉价可靠的 SAE 研究提供依据。