JEPA
由Yann LeCun提出的世界模型架构,核心思想是在抽象表示空间(embedding space)中做预测而非重建原始像素,旨在学习世界的因果结构,用于具身智能与机器人学习
时间轴 (近 90 天)
JEPA架构分为上下文编码器和目标编码器两部分,预测器在两者之间的嵌入空间中完成预测任务
JEPA是Yann LeCun极力推崇的方向,他多次公开批评自回归的LLM范式无法通向真正的机器智能
仅依靠潜在距离来指导动作选择是不够的,需要探索新的表征学习目标或规划算法
动作排序缺陷的根源在于JEPA架构本身的表征能力,而非特定的视觉编码器选择
研究团队开发了ARC-Bench基准测试,专门审计JEPA风格的世界模型是否能正确排序候选动作
研究表明动作排序失败的问题根源在于JEPA架构本身的表征能力,而非特定的视觉编码器选择
闭环成功率作为单一评估指标存在严重局限,仅依靠潜在距离指导动作选择是不够的
闭环成功率系统性地高估了冻结潜在表征的可排序性
闭环重规划掩盖了JEPA世界模型的动作排序缺陷
Yann LeCun在2022年提出了联合嵌入预测架构(JEPA),主张真正的智能需要在抽象表征空间而非像素空间中预测世界的演变
还有 9 条时间轴事件
全部知识事实 (19)
JEPA架构分为上下文编码器和目标编码器两部分,预测器在两者之间的嵌入空间中完成预测任务
50%待验证JEPA是Yann LeCun极力推崇的方向,他多次公开批评自回归的LLM范式无法通向真正的机器智能
50%待验证仅依靠潜在距离来指导动作选择是不够的,需要探索新的表征学习目标或规划算法
50%待验证动作排序缺陷的根源在于JEPA架构本身的表征能力,而非特定的视觉编码器选择
50%待验证研究团队开发了ARC-Bench基准测试,专门审计JEPA风格的世界模型是否能正确排序候选动作
50%待验证研究表明动作排序失败的问题根源在于JEPA架构本身的表征能力,而非特定的视觉编码器选择
50%待验证闭环成功率作为单一评估指标存在严重局限,仅依靠潜在距离指导动作选择是不够的
50%待验证闭环成功率系统性地高估了冻结潜在表征的可排序性
50%待验证闭环重规划掩盖了JEPA世界模型的动作排序缺陷
50%待验证Yann LeCun在2022年提出了联合嵌入预测架构(JEPA),主张真正的智能需要在抽象表征空间而非像素空间中预测世界的演变
50%待验证JEPA架构使用指数移动平均(EMA)教师网络机制来避免表征坍塌问题
50%待验证JEPA与对比学习的本质区别在于JEPA通过预测缺失部分的表征来学习,不依赖显式的数据增强策略
50%待验证Yann LeCun提出JEPA框架,核心思想是在抽象的表征空间而非像素空间中进行预测,Meta已发布V-JEPA等早期实现
50%待验证JEPA是由Yann LeCun等人倡导的一种自监督学习范式
50%待验证Mol-JEPA是一个面向分子领域的多模态JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)基础模型
50%待验证JEPA在抽象的嵌入空间中进行预测,而非像素级或token级预测,避免了计算浪费
50%待验证提议的方案分三步:在物理仿真环境中训练JEPA模型、让物理结构从JEPA表征中涌现、将冻结的物理表征作为条件信号接入LLM
50%待验证世界模型概念最早可追溯到Yann LeCun在2022年提出的JEPA(Joint Embedding Predictive Architecture)框架
50%待验证JEPA(联合嵌入预测架构)由 Yann LeCun 于 2022 年在论文《A Path Towards Autonomous Machine Intelligence》中系统提出
50%