Spectral Indistinguishability and Learning-Curve Identifiability in Quadratic Networks

arXiv:2610.20678v1 公告类型：新

摘要：我们研究谱摘要与标量学习曲线能够揭示关于中心化二次网络的哪些信息。我们构造了具有精确高斯一坐标与二坐标边缘分布的解析正输入密度。它们的完整四阶矩算子由一个正交映射缠绕，该映射固定整个对角教师代数，因此相应的锚定谱测度一致。对于选定的、具有非零环路不变量的常见教师，其因子化损失曲线不同，因为该映射不保持矩阵乘法。环路长度 $r$ 可以任意大，对于每个固定构造，它在训练时间上一致地给出 $O(\varepsilon^r)$ 的对比度。对于给定的一对，含噪标量损失查询需要 $\varepsilon^{-2r}$ 量级的观测，而有界初始化干预配合标量梯度读数则需要 $\varepsilon^{-2}$ 量级。一个共享输入得分，等于成对梯度之差，在不知道教师的情况下达到了最优的输入样本指数。相反，一族显式发散的辅助教师尺度在耦合 $1/\log L$ 处反而容许一个非零的有限极限对比度。反之，对于高斯输入和有理独立的教师谱，一条精确的标量损失曲线可将初始预测器识别到符号共轭的意义下。在这一有理独立类中，当每个坐标上的对角逆状态误差非零且时间与损失尺度经过校准时，它还能识别未知的教师谱与活跃维度，模去同时旋转。对于固定维度和互异无序教师和，维度最小的精确观测给出一般的联合局部恢复。对于已知教师，以及在活跃类上、在盲维度上限之下，有限精确全局界成立。精确证书与全权重回放验证了该构造；数值逆检查揭示了严重的病态性。