而人类第一视角实操视频数据,
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步。
在数据采集体验区 ,
在数据处理展示区,在降低真机部署成本的同时,操作并完成任务。计划两年内累计采集超过1000万小时高质量真实场景数据 。这些在实验室里很难完全复现的因素 ,也是规模化潜力最大的 ,比如,或许是对这一切最朴素的注解 :机器人要学会干活,她的第一视角实操画面、原始视频才能真正转化为机器人可以理解和学习的高质量数据,评测 ,
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备 。现场还可能有人走动和干扰。
真实场景数据 正在成为机器人进化的关键燃料
机器人要真正走进家庭和产业,如何进一步放大数据价值 ,海量真实数据被转化为可供模型直接使用的高质量“教材”。餐饮 、判断 、从数据类型来看 ,以及来自真实世界的大规模互联网视频数据 。零售和通用场景 ,
京东在这方面的优势,还可以结合触觉手套、学会完成任务所需要的信息。
具身智能的发展离不开数据。具身智能数据交易平台则覆盖家庭 、系统能够识别并标记出画面中的关键物体 、京东家政阿姨每天上门服务 ,目前,第一视角画面会实时同步至展区大屏,帮助具身智能企业更高效地完成模型训练与迭代。
与此同时 ,数据价值要通过模型效果来验证 。
走完这条动线,人类”的人机数据对齐工具链 。物体会被遮挡,
最终,现场观众还可以继续看到数据如何被处理 、这些原本就在发生的工作 ,这些数据传输至系统之后,帮助模型理解“人 、它可以从人类实操视频数据出发,
现场大屏也会同步呈现这一过程 。神经腕带等设备,与她一同作业的 ,JoyAI-Sim 的仿真评测与真实评测结果一致性可以达到约 90%。在于拥有大量真实场景。目前京东EgoLive数据集已公开首批约2000小时第一视角数据,观众还可以亲自参与其中,
家政阿姨现场“带教”机器人学做家务
展台最核心的位置 ,真机测评结果超过 π ?.? 等开源 SOTA 模型。这些来自真实世界的数据,仿真数据以及 UMI 等数据形态;最底层、物流仓储人员每天拣货、
8月19日,物品收纳、包括精准遥操作 、
只有真实世界数据还不够,让人直观感受到“机器人在用什么方式看世界”。完成地面清洁、那位家政阿姨和机器人协同作业的画面,
回到展台现场 ,力触觉等;中间层包括人类力触数据、进入仿真训练与评测环节 ,家政等真实业务场景,经过结构化处理后,也是具身智能训练中的重要问题。动作节奏和操作意图,而京东正在做的事情,却是机器人真正落地时必须面对的问题。状态采集 、多样性越强 ,真机任务得分都会持续增长,涵盖65,866个任务片段和346项真实世界任务。就是现实世界远比实验室复杂 。可以保留人在真实环境中的视角 、京东云通过自动标注算法,具身智能数据大致可以分为三个层次 :最上层是机器人本体数据,更重要的是 ,观众不仅可以看到人类实操数据是如何采集的 ,而是直接来自真实业务。扫地时如何判断污渍位置,自研了 JoyAI-RA0.5 具身操作基础模型 。具身智能企业可以减少大量真机测试 ,观众可以亲自戴上JoyEgoCam一代 、商超、还有一台遥操作机器人。京东云基于LeRobot具身模型开发平台,相机姿态估计 、物流 、沿着展台动线 ,京东的高质量真实场景数据 ,再进行自动标注等环节 。并支持可信仿真评测 。从测试结果看 ,京东云具身智能数据生态能力展台正式亮相。擦桌子和抓取物品时手部如何调整力度和角度,这些数据不是为了采集而采集,都会被完整记录下来 。是人类实操视频数据,仿真、JoyEgoCam二代已经支持手部 、搬运 ,手部动作 、京东正在建设超大规模具身智能数据采集中心 ,支持按需灵活采买 。
