LEV: Thinking Fast and Deep with Looped Decision Models
中文摘要
由模型生成 · 人工抽检LEV 是一种循环决策模型，通过重复运行层而非生成 token 来加深推理，单次前向即可对选项打分。同一权重下精度随循环深度提升，2.6B 模型在 JevBench 上从深度1的63.2%升至深度4的76.2%，并用小型停止器按需分配深度，节省15%-24%算力。
全文
已译中文arXiv:2610.20951v1 公告类型：新
摘要：决策模型针对输入回答带类型的问题，每个选项给出一个概率，在单次前向传播中计算得出，不生成文本。如同双过程理论中的快速系统 1，它们即刻作答，但其深度在训练时即已固定，因此对简单问题和困难问题花费相同的计算量。以生成文本进行推理的模型可以思考更久，但每一个额外步骤都要以解码 token 为代价。我们提出 LEV，一种通过循环重跑其层而非生成 token 来更深入思考的决策模型。LEV 构建于一个以循环方式预训练的语言模型之上，在每次循环步骤后读取选项，并联合训练所有步骤，因此一个检查点即可在任意深度作答。在三个循环骨干网络上，同一权重下的准确率随深度上升，且主要提升在困难问题上，一个 2.6B 的 LEV 在 JevBench 上从深度一的 63.2% 提升到深度四的 76.2%。按需深度由一个小型停止器按问题设定，其阈值在无标注请求上拟合，可节省 15% 到 24% 的计算量，代价是不到一个准确率点，与固定的深度混合持平或略优。在锁定的测试集上，1.4B 和 3B 模型比稠密（非循环）模型以及相同延迟下低于 50 ms 的级联方案准确率高 5.4 到 8.8 个点。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。