QuasiLeak-Bench:策略条件下的准证据组隐私检测基准
QuasiLeak-Bench: Evaluating LLM-Based Privacy Detectors on Policy-Conditioned Quasi-Evidence Group Recovery
中文摘要
由模型生成 · 人工抽检现有隐私基准多关注显式标识符或属性推断,忽略了孤立弱但联合可揭示隐私的准证据组。该工作提出 QuasiLeak-Bench,用逆向构建流水线生成可靠标注,评估检测器能否恢复完整准证据组并按披露策略标记违规。实验显示现有检测器迁移差、本地模型远落后于闭源模型,但微调 4B 模型可超越最强提示模型,表明任务可学习。
全文
已译中文自然语言消息中常常包含准标识符(quasi-identifier),这些标识符单独来看辨识力很弱,但联合起来却可能泄露个人的隐私属性。我们将这样一组联合起来具有泄露性的线索称为准证据组(quasi-evidence group)。现有的隐私基准测试主要关注显式标识符、属性推断或任务驱动的信息披露,而基于准证据组的推断在很大程度上仍未被测量。在实践中,暴露这样的准证据组是否构成隐私侵犯,还取决于发送方指定的披露策略。我们提出 QuasiLeak-Bench,这是一个面向策略条件化准证据组恢复的基准测试,用于评估检测器能否恢复完整的准证据组,并标记出给定策略所禁止的披露。为了大规模获取可靠的 ground truth,一条逆向构建流水线首先选取弱准标识符,将其组合为经核实能够联合泄露目标属性的准证据组,并围绕这些证据生成文档,随后进行自动化质量控制。实验表明,现有隐私检测器迁移到 QuasiLeak-Bench 上表现很差,且可本地部署的基于 LLM 的检测器远远落后于专有模型,主要原因是它们完全遗漏了大多数准证据组。然而,一个在我们的训练集上微调的 4B 模型在留出文档上超越了最强的提示词驱动模型,表明该任务是可学习的。
本译文由模型自动生成,仅供参考与快速理解;涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站,本站不托管文件正文为原站公开内容的抓取与清洗结果,英文条目附模型生成的中文译文;两者均仅供参考, 准确内容请以原站为准。内容版权归原作者所有,若认为侵权请联系我们下线。