大模型arXiv cs.CL4 天前
CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation
CoTranslator 提出一种反向到正向的思维链翻译器，用于推理蒸馏。它先用已知答案生成廉价的反向 CoT，再学习将其翻译为接近经拒绝采样验证的正向 CoT 分布，从而在保持学生无答案推理一致性的同时降低教师调用成本。在六个数学基准上平均准确率最高提升 5.82 个百分点，4B 学生以约 36% 算力保留 95% 拒绝采样精度，并可零重训迁移到新数据集、教师和 STEM 任务。