Interpreting Language Model Parameters
中文摘要
由模型生成 · 人工抽检该论文提出对抗性参数分解（VPD）方法，将语言模型参数拆解为简单子组件，使网络在大量子组件被对抗性消融后仍保持输入输出行为，从而支持对参数级计算机制的电路分析，推进机械可解释性研究。
全文
已译中文arXiv:2610.20748v1 公告类型：新
摘要：机制可解释性旨在揭示神经网络如何利用其参数来实现其令人印象深刻的神经算法。尽管此前的工作已经在网络所使用的中间表示中发现了大量结构，但对于网络的参数和非线性如何在这些表示上执行计算，进展甚微。在本工作中，我们提出了一种方法，使我们更接近这一理解：它将语言模型的参数分解为若干子组件，每个子组件只实现模型所学算法的一小部分，同时只需其中一小部分子组件即可解释网络在任意输入上的行为。该方法名为对抗性参数分解（adVersarial Parameter Decomposition，VPD），它优化将神经网络参数分解为简单的子组件，这些子组件即使在许多子组件被消融时仍能保持网络的输入-输出行为，包括在对抗性选择以破坏行为的消融下也是如此。这促使学习到能够对网络行为提供简短、机制上忠实的描述的子组件，而这些描述应能适当地聚合为对网络所学算法更全局的描述。我们研究了这些参数子组件之间的交互序列如何在特定输入上产生网络的输出，从而促成一种新的“电路”分析。尽管要加深我们对神经网络如何利用其参数计算其行为的理解仍有更多工作要做，我们的工作提出了一种方法，用以识别一小组简单的、机制上忠实的子组件，进一步的机制分析可以建立在其之上。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。