Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression

arXiv:2610.20804v1 公告类型：新

摘要：我们研究高维情形下的持续线性回归，其中学习器观察一系列任务并顺序更新其参数。在此设定下，我们推导出模型在每任务固定步数下经梯度下降训练后的泛化损失的显式闭式表达式，该表达式对任意教师模型均成立。我们证明，对于单一教师模型，更一般地对于独立同分布（i.i.d.）教师模型，最优固定步长随任务数近似成反比衰减，具体为 $\ln T / T$。在此缩放关系下，我们表明所得的泛化损失在渐近意义上等价于通过最优调优的 L2（各向同性）正则化所达到的泛化损失。此外，我们将分析扩展到具有对角正则化矩阵的广义岭回归，得到泛化损失的闭式刻画，并识别出最优正则化器为各向同性的充分必要条件。最后，我们识别出一种情形：即使任务数趋于无穷，最优步长仍保持有限，从而揭示了任务变异度与隐式正则化之间非平凡的权衡关系，这与 i.i.d. 教师模型的缩放关系形成对比。我们的理论预测在线性模型和神经网络上的实验均得到验证，为持续学习系统的设计提供了实践指导。