#多模态
共 115 篇相关文章
AskStream：流式视频理解下的主动提问新范式
AskStream是首个覆盖视频与用户不确定性的多轮流式视频理解基准，提出等待、提问、回答三动作框架，用Ask-F1指标评估模型主动提问能力，最强模型仅52.18%。
Timbre：多模态测试时强化学习的可靠性谐波共识
Timbre 提出可靠性感知谐波共识框架，用于无标签多模态测试时强化学习。通过 2×2 视图网格、加权谐波聚合与置信度漂移信号自适应调整模态权重，在六个基准和三个 Qwen3-VL 规模上多数设置优于 TTRV，缓解多数投票强化错误共识的问题。
Genie 4 交互世界模型：实时物理、推理与音频融合
解读 Genie 4 交互世界模型：融合实时物理、推理与音频，支持模拟中的模拟。分析其在物理一致性、递归世界与多感官反馈上的技术方向与待验证之处。
AMD联手vLLM推出d3-ultra：开源多模态决策新突破
AMD与vLLM Semantic Router团队推出d3-ultra开源多模态决策模型，支持逐答案概率、视觉定位与视频跟踪，基于AMD Instinct GPU训练推理，Apache-2.0权重已上线Hugging Face。
前沿模型能被视觉诱饵骗过吗？Elorian用图像思考破局
Elorian发布诱饵计数基准，揭示前沿多模态模型在视觉推理上的短板，并提出Glimpse方案，尝试让模型用图像而非文本进行思考，弥合感知与推理之间的差距。
DeepSeek V4.1 Flash实测：一句话生成3D机械表，单任务仅26美分
海外博主九项实测DeepSeek V4.1 Flash：一句话生成3D机械表，多模态清点糕点并推断遮挡数量，单任务成本仅26美分，推理速度最高每秒1286 token。
Liquid AI发布LFM3：六个2B级模型覆盖端侧全模态
Liquid AI 发布 LFM3 第三代模型家族，首批六个 2B 级模型共享骨干网络，覆盖文本、视觉、音频、全模态与决策模型，1.7B 文本模型 4-bit 量化后约 1 GB、支持 256K 上下文，开放权重可在单 GPU 微调。
HarnessAgent全适配器支持图像输入：AI编程助手迎来多模态
AI SDK 的 HarnessAgent 层现已支持图像输入，覆盖 Claude Code、Codex、Cursor、GitHub Copilot 等全部 harness 适配器，开发者可用标准消息格式同时传入文本与图片。
Genie 4 世界模型发布：音频、实时交互与更真实世界
Google DeepMind 发布 Genie 4 世界模型，新增实时音频、更真实的模拟环境以及模拟中文本提示实时操控能力，目前以研究预览形式向受信任测试者开放。
vLLM发布d3-ultra：27B开源多模态决策模型
vLLM Semantic Router 发布 d3-ultra，一个 27B 开源权重多模态决策模型，一次读取文本、图像和视频并为每个答案返回概率，SR-Text 测试得分 87.2。本文分析其判别式路线、分数含义与落地注意事项。
旁遮普歌曲有毒内容数据集PGT-FG发布
旁遮普语音乐毒性检测数据集PGT-FG发布：2396个歌曲片段细粒度标注，29.42%含毒性内容，暴力类占比最高。四位母语者标注，kappa一致性0.6521，已在Zenodo公开。
单纯形约束表示：97%消除多模态嵌入模态鸿沟
新论文提出用概率单纯形替代单位球作为多模态嵌入域，通过softmax适配器和全变差相似度，在五个检索基准上将模态鸿沟的质心距离缩小97-99%，检索性能持平或更优。
微软Project Gecko：用AI为非洲农民架起语言桥梁
微软Project Gecko项目推出PharmaChat应用，让非洲农民用母语提问，通过AI返回精准视频片段和农耕书籍章节。项目还发布三个交互式手册，推动包容性AI发展。
AI推理背后的存储账单：被忽视的成本黑洞
AI推理成本不只是GPU和电力，每次模型响应产生的提示词、图像、视频和日志都在推高存储账单。本文分析推理数据为何成为被忽视的成本黑洞，并给出分层存储、保留策略与成本建模的优化路径。
MMEnterprise-Bench：企业Agent如何应对多模态记录演变？
MMEnterprise-Bench是面向企业Agent的多模态评测基准，含1,613个问题，覆盖证据推理、冲突消解与不可回答性三类任务。实验显示最强模型在跨来源和时间冲突下仍表现吃力，且增加检索预算并不稳定提升答案准确率。
Industrial ReMEmbR：让机器人舰队共享时空记忆
NVIDIA Industrial ReMEmbR 将 ReMEmbR 扩展为机器人舰队共享时空记忆系统：Jetson 端用 Cosmos-Embed1、Cosmos3-Edge 与 Wan2.2 VAE 编码视频，不上传原始画面；按需生成场景描述，拆分视觉-语言模型降低服务器负载，并支持 PII 抽象。
NarraSpace：多模态场景证据如何提升痴呆症分类可解释性
NarraSpace框架将图片描述中的词语与场景元素链接，构建可检查的痴呆症分类证据。在ADReSS基准上准确率超80%，AUC达91.32%，兼顾性能与可解释性。
Gemini 4 Argon实测：北美豆包还是全能王者？
B站UP主ZP Studio实测Gemini 4 Argon：3D动画、网页前端、小王子游戏、文案填词五项测试，对比Astra、GPT-6、Claude Opus 5.5。全模态能力真实但精细度不足，Pro会员40%周额度换四个项目，订阅性价比存疑。
从零用Python搭建AI智能体：语音生成完整脚本视频
用Python从零搭建AI智能体，通过OpenRouter统一API将语音转录、脚本生成、图像生成、语音合成和视频生成五步串联成流水线，实现说一句话自动产出完整脚本视频。详解每步的代码实现、JSON Schema结构化输出、轮询机制与成本控制策略。
OmniGround：用注意力一致性训练补齐全模态时序定位短板
OmniGround 团队发现全模态模型内部注意力比生成时间戳更准，提出 TACG 注意力一致性后训练方法，构建 580K 数据集，在 LongVALE 和 UnAV-100 上刷新时序定位 SOTA。