大模型arXiv cs.CL4 天前
PRISM: Transfer and Limits of Activation Interventions in Tool-Calling Language Models
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
已过时译
每日自动追踪全球权威信源,模型生成中文摘要与有效期判断,人工抽检把关。 不追热点,只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向,每个领域独立成脉
共 3 条符合条件
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
提出 CNRF 框架,通过构建上下文匹配的良性-有害反事实对,将表征差异作为风险方向,并独立估计邻域支持度,从而区分'不熟悉'与'有害',实现选择性干预而非一刀切拒绝。在三个 VLM 和五类多模态越狱攻击上达到 86.06-89.30% 宏观防御成功率,同时保留良性任务效用。
VISTA 是一种免训练方法,用于离散扩散模型的奖励引导生成:它把稀疏 SMC 引导的步数选择建模为对理想全引导概率路径的近似,通过少量全引导预热生成估计路径偏差上界,再用动态规划精确求解最优引导时间表。在文本、生物序列和图像任务上,它自动发现任务相关的时间表,多数场景优于手工稀疏方案,并在毒性文本生成中实现 5.35 倍加速(204.23s 降至 38.16s),毒性比接近全引导。