大模
PRISM: Transfer and Limits of Activation Interventions in Tool-Calling Language Models
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
大模型·arXiv cs.CL·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
现有资料不足以回答「70B 模型上激活干预的部署成本如何评估」这一问题——资料1 只给出了效果与可迁移性的结论,没有任何关于显存、算力、延迟、存储或工程改造量的成本数据。资料中能确认的部分如下:
也就是说,资料只支持「70B 上干预方向可用、无需目标语言微调」这一层面的判断1,但没有提供 70B 场景下的显存开销、推理吞吐影响、干预模块的存储与加载成本、或与全参数微调的成本对比。要评估部署成本,还需要补充 70B 上的实测资源占用与工程实现细节。