VideoPrism: A foundational visual encoder for video understanding

Web 上可获取的视频数量惊人，内容涵盖人们分享的日常瞬间、历史时刻到科学观察等各种类型，每一段视频都包含对世界的独特记录。合适的工具可以帮助研究人员分析这些视频，从而改变我们理解周围世界的方式。

视频提供的动态视觉内容远比静态图像丰富，能够捕捉运动、变化以及实体之间的动态关系。分析这种复杂性，连同公开视频数据的巨大多样性，需要超越传统图像理解的模型。因此，许多在视频理解上表现最佳的方法仍然依赖于为特定任务量身定制的专用模型。最近，该领域使用视频基础模型（ViFM）取得了令人振奋的进展，例如 VideoCLIP、InternVideo、VideoCoCa 和 UMT。然而，构建一个能够处理视频数据庞大多样性的 ViFM 仍然是一项挑战。

为了构建一个通用视频理解的单一模型，我们推出了“VideoPrism: A Foundational Visual Encoder for Video Understanding”。VideoPrism 是一个 ViFM，旨在处理广泛的视频理解任务，包括分类、定位、检索、字幕生成和问答（QA）。我们在预训练数据和建模策略两方面都提出了创新。我们在一个庞大且多样化的数据集上预训练 VideoPrism：3600 万个高质量视频-文本对和 5.82 亿个带有噪声或机器生成平行文本的视频片段。我们的预训练方法专为这种混合数据设计，既从视频-文本对中学习，也从视频本身学习。VideoPrism 非常易于适应新的视频理解挑战，并使用单一冻结模型实现了 SOTA 性能。

预训练数据

一个强大的 ViFM 需要非常大量的视频集合来进行训练——类似于其他基础模型（FM），例如大语言模型（LLM）的基础模型。理想情况下，我们希望预训练数据是世界上所有视频的代表性样本。虽然自然情况下大多数这些视频没有完美的字幕或描述，但即使是不完美的文本也能提供关于视频语义内容的有用信息。

为了给模型提供尽可能最佳的起点，我们构建了一个大规模的预训练语料库，由多个公开和私有数据集组成，包括 YT-Temporal-180M、InternVid、VideoCC、WTS-70M 等。其中包含 3600 万个经过精心筛选、配有高质量描述的视频，以及额外 5.82 亿个带有不同程度噪声文本（如自动生成的转录文本）的片段。据我们所知，这是同类中规模最大、最多样化的视频训练语料库。

两阶段训练

VideoPrism 的模型架构源自标准的 vision transformer（ViT），采用因子化设计，按照 ViViT 的方式依次编码空间和时间信息。我们的训练方法同时利用了上文提到的高质量视频-文本数据和带有噪声文本的视频数据。首先，我们使用对比学习（一种最小化正视频-文本对之间距离、同时最大化负视频-文本对之间距离的方法）来教会模型将视频与其自身的文本描述进行匹配，包括不完美的描述。这为将语义语言内容与视觉内容进行匹配奠定了基础。

在视频-文本对比训练之后，我们利用无文本描述的视频集合。在这里，我们基于掩码视频建模框架来预测视频中被掩码的 patch，并做了若干改进。我们训练模型同时预测视频级全局向量嵌入和来自第一阶段模型的 token 级向量嵌入，以有效利用该阶段所获得的知识。然后我们对预测的 token 进行随机打乱，以防止模型学习到捷径。

VideoPrism 设置的独特之处在于，我们使用了两种互补的预训练信号：文本描述和视频中的视觉内容。文本描述通常聚焦于事物的外观，而视频内容则提供关于运动和视觉动态的信息。这使得 VideoPrism 在需要同时理解外观和运动的任务中表现出色。

结果

我们在四大类视频理解任务上对 VideoPrism 进行了广泛评估，包括视频分类与定位、视频-文本检索、视频描述生成、问答以及科学视频理解。VideoPrism 在 33 个视频理解基准测试中的 30 个上取得了 SOTA 性能——所有这些都仅需对单个冻结模型进行最小程度的适配。

分类与定位

我们在一个现有的大规模视频理解基准测试（VideoGLUE）上评估 VideoPrism，该基准涵盖分类与定位任务。我们发现：(1) VideoPrism 优于所有其他 SOTA 基础模型；(2) 没有其他单一模型能稳定位居第二。这表明 VideoPrism 已学会有效地将多种视频信号打包进一个编码器——从不同粒度的语义到外观与运动线索——并且在多种视频来源上均表现良好。

与大语言模型结合

…