Multimodal AI Detection for Math-Heavy Scientific Text

arXiv:2610.21062v1 公告类型：新

摘要：随着大语言模型在生成和辅助科学写作方面的能力日益增强，围绕研究中AI使用的透明度和披露需求也随之增加。因此，一个名副其实的研究子领域以及若干商业服务致力于自动标记AI生成的内容。然而，现有仅依赖从PDF中提取文本的检测器，无法利用数学密集型科学内容在排版格式中所蕴含的丰富视觉信息。为研究这一问题，我们从2022年之前的arXiv LaTeX源文件中选取人工撰写的证明和散文段落，并在同一篇论文的上下文中使用15个现代LLM重新生成这些内容。由此我们获得了三种不同表示形式下配对的人类与AI输出：LaTeX源文件、PDF的渲染图像，以及从PDF中提取的文本。我们发现，SOTA的Pangram 4的准确率随着段落中数学内容的增加而显著下降，尤其是在基于文本而非LaTeX进行评估时。然而，这并非检测AI生成数学内容的固有局限：在该领域对基于Qwen-3.5-27B的检测器进行微调可以弥补这一差距，且LaTeX输入的表现显著优于文本，因为前者保留了更多的格式信息。由于LaTeX源文件在实践中很少可得，我们还训练了SnapJudge：一个基于图像的检测器，对论文中散文和证明的截图进行操作。在0.1%假阳性率下，SnapJudge对前沿模型生成的证明达到92%的检测率，对散文达到93%，显著优于Pangram 4和我们的基于文本的检测器。我们在https://nlplab.cs.duke.edu/snapjudge 发布了数据、模型和代码。