MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

arXiv:2610.20965v1 公告类型：新

摘要：大语言多模态模型通过扩展模型容量并在海量配对多模态数据上训练，已取得显著进展。然而，这一范式引入了一个根本性瓶颈：对齐的多模态数据集标注成本高昂，难以跨多样化的模态组合进行扩展，并且日益制约进一步的进展。我们提出模态自博弈（Modality Self-Play，MSP），一种基于代理介导的模态组合的多模态基础模型训练框架。MSP 不依赖配对的跨模态数据，而是在训练过程中使用锚定-支撑的代理文本描述来表征未见模态，作为语义桥梁。给定一个已观测模态（例如图像或音频），模型为互补的未见模态生成代理描述，这些描述随后被编码，并通过学习到的桥梁与已观测模态对齐，从而在无需真实配对的非文本监督的情况下实现跨模态交互。

我们的核心假设是：代理文本（proxy text）结合经过对比训练的预训练编码器，能够提供足够的语义结构，使多模态组合得以涌现。我们证明，MSP 能够实现零样本模态组合：仅在真实锚定模态及 accompanying 代理描述上训练的模型，在推理时能够对多种模态进行整合与推理，尽管在训练期间从未见过真实的配对非文本数据。在实证层面，MSP 在多个多模态基准测试上取得了 SOTA 或具有竞争力的性能。消融实验进一步表明，学习到的桥接（bridge）改善了对齐，而锚定支撑的代理描述则实现了有效的跨模态组合。MSP 消除了对真实配对非文本（例如音频-视觉）监督的需求，同时继续依赖模态-文本对、预训练对比编码器以及模态分布桥接校准。