Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
中文摘要
由模型生成 · 人工抽检该研究在全双工语音语言模型中发现一个决定「何时抢话」的晚期残差流方向——initiative vector，无需训练或标注即可从模型自身对话中提取。缩放该方向可将说话占比从 6-12% 调至 42-61%，并能用一段短参考录音把特定说话人的轮流风格迁移到模型上，且迁移具有参考特异性。
全文
已译中文arXiv:2610.20763v1 公告类型：新
摘要：全双工语音语言模型在每一帧都决定是否取得发言权，这定义了其对话个性——然而每一组权重恰好只编码一种个性，而人类说话者是在一个区间内变化而非固定于单一风格。现有的控制手段大多从外部施加作用；没有一种手段识别出决定模型说话多少的那个量。我们识别出了它：一个单一的深层残差流方向，即 initiative vector（主动性向量），从模型自身的对话中提取，无需训练或标注。同一方向既能读取该决策，提前最多 800 ms 预测发言起始，也能改变该决策：在生成过程中对其进行缩放，可将语音占比从 6-12% 移至 42-61%（不引导时为 21-30%），且在对话、权重和语料上均保持一致。一段简短的参考录音即可将说话者的轮次转换风格迁移到模型，且该迁移是参考特定的：换用另一位说话者的参考会使匹配变差，在 93-98% 的情况下如此，而最佳的统一剂量与不引导无法区分。轮次转换风格并非冻结在权重之中，而是一个可以读取、改变并按人校准的方向。音频示例见 https://elpsykongloo.github.io/initiative-vector/。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。