Google Research 发布 VideoPrism，一个通用视频理解基础视觉编码器。它在 3600 万高质量视频-文本对和 5.82 亿带噪文本视频片段上预训练，采用两阶段训练策略，单一冻结模型即可在分类、定位、检索、描述、问答等任务上达到 SOTA，解决了视频基础模型难以覆盖多样视频数据的难题。

#video-understanding #foundation-model

已过时译

大模型Google AI Blog4 天前

ScreenAI: A visual language model for UI and visually-situated language understanding

Google Research 发布 ScreenAI，一个 5B 参数的视觉语言模型，基于 PaLI 架构并采用 pix2struct 灵活分块策略，专门理解 UI 界面和信息图。通过自监督预训练与人工标注微调，在 WebSRC、MoTIF、ChartQA、DocVQA 等任务上达到同规模最优，并开源三个新数据集。

#vlm #ui

已过时译

大模型OpenAI News4 天前

GPT-6 and Intelligent UI for everyone

OpenAI 在全球 ChatGPT 中推出 GPT-6，并引入 Intelligent UI，提供更快响应、可视化与可交互体验。这标志着大模型从纯文本对话转向可直接操作的多模态界面，值得关注其对产品形态与交互范式的影响。

#llm #multimodal

已过时

行业落地OpenAI News4 天前

Higgsfield takes AI video from 1 minute to over 10

Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟延长至 10 分钟以上，同时用 GPT-Image-2.5 提升画面精度，并推出 GPT-Live 探索语音驱动电影制作，值得关注 AI 视频生成在时长与可控性上的突破。

#video-generation #multimodal

已过时

行业落地arXiv cs.LG4 天前

CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection

提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。

#multimodal #healthcare

已过时译

行业落地arXiv cs.LG4 天前

Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech

该研究将多模态对比学习框架用于脑电想象语音解码，把EEG信号与冻结文本编码器的语言表征在嵌入空间中对齐，在Chisco数据集39类意图上取得与闭集分类器相当的性能，并支持相似度检索、可靠性排序与语义结构评估，为自然化脑机接口提供新路径。

#eeg #contrastive-learning

已过时译

行业落地arXiv cs.CL4 天前

Multimodal AI Detection for Math-Heavy Scientific Text

研究指出仅靠PDF文本的AI检测器在数学密集内容上准确率大幅下降，而LaTeX格式信息可显著提升检测效果。作者提出基于截图的图像检测器SnapJudge，在0.1%误报率下对证明和正文的检测率达92%和93%，优于Pangram 4，并开源数据、模型与代码。

#ai-detection #multimodal

已过时译

行业落地arXiv cs.CL4 天前

MeddeX: A Retrieval-Augmented LLaMA-3 System with Gemini Vision for Evidence-Backed Medical Report Analysis

MeddeX 是一个医疗报告分析系统，将 QLoRA 微调的 LLaMA-3 8B 与 RAG 及 Gemini Vision 多模态层结合，支持文本 PDF、扫描件和放射影像，提供有证据支撑的摘要、报告内检索与纵向对比。相比基线模型 ROUGE 与 BLEU 显著提升，展示领域微调在临床辅助决策中的实用价值。

#rag #llm

已过时译

大模型arXiv cs.AI4 天前