EgoDex
人类第一视角操作视频数据集,用于让视觉模型学习人类运动意图与手眼协调先验
时间轴 (近 90 天)
REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。
EgoDex 的数据采集无需任何机器人硬件参与,数据在录制当下即完成结构化标注,无需人工标注员和事后姿态估计
EgoDex的194种任务涵盖了双手协调操作这一传统方法中数据最稀缺的领域
EgoDex的手部追踪精度可达亚毫米级,远超基于普通RGB摄像头的开源方案如MediaPipe Hands
EgoDex的held-out测试集包含3,243条episodes,覆盖111种任务,被开发者解析成MCAP格式并导入FiftyOne可视化工具
EgoDex的held-out测试集包含3,243条episodes,覆盖111种任务
有开发者将EgoDex测试集解析成MCAP格式并导入FiftyOne可视化工具,相关演示与数据卡发布在Hugging Face平台
苹果发布的EgoDex数据集通过让人戴上Apple Vision Pro完成日常任务,由ARKit实时追踪手部与身体的68个关节点,采样频率为30Hz,从而无需机器人即可采集灵巧操作数据
EgoDex入选ICLR 2026
有开发者将EgoDex的held-out测试集(3243条episodes,覆盖111种任务)解析成MCAP格式并导入FiftyOne可视化工具
还有 4 条时间轴事件
全部知识事实 (14)
苹果发布的EgoDex数据集通过让人戴上Apple Vision Pro完成日常任务,由ARKit实时追踪手部与身体的68个关节点,采样频率为30Hz,从而无需机器人即可采集灵巧操作数据
60%待验证REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。
50%待验证EgoDex 的数据采集无需任何机器人硬件参与,数据在录制当下即完成结构化标注,无需人工标注员和事后姿态估计
50%待验证EgoDex的194种任务涵盖了双手协调操作这一传统方法中数据最稀缺的领域
50%待验证EgoDex的held-out测试集包含3,243条episodes,覆盖111种任务,被开发者解析成MCAP格式并导入FiftyOne可视化工具
50%待验证EgoDex的手部追踪精度可达亚毫米级,远超基于普通RGB摄像头的开源方案如MediaPipe Hands
50%待验证EgoDex的held-out测试集包含3,243条episodes,覆盖111种任务
50%待验证EgoDex的多模态数据包含三个同步在30Hz的层次:第一视角视频、3D动画骨架、2D姿态叠加层
50%待验证EgoDex数据集包含338K条episodes、194种任务、829小时的录制时长
50%待验证苹果称EgoDex是迄今为止规模最大、多样性最丰富的灵巧操作数据集
50%待验证EgoDex的数据在录制当下即完成结构化标注,无需人工标注员,也无需事后进行姿态估计
50%待验证有开发者将EgoDex测试集解析成MCAP格式并导入FiftyOne可视化工具,相关演示与数据卡发布在Hugging Face平台
50%待验证有开发者将EgoDex的held-out测试集(3243条episodes,覆盖111种任务)解析成MCAP格式并导入FiftyOne可视化工具
50%待验证EgoDex入选ICLR 2026
50%