04-09 · 技术概念
机器人数据为什么重要？
理解机器人为什么不仅需要“很多数据”，更需要真实、匹配、覆盖充分的数据。
一句话总结
机器人数据是机器人在感知环境、理解任务、采取动作、执行控制和获得结果过程中产生或采集的信息；它的价值不只取决于数量，还取决于质量、覆盖范围、真实性、任务相关性和本体匹配度。
Plain language
用人话理解
场景：如果希望机器人学会“把桌上的杯子拿起来”，只给它一万张杯子照片其实不够。它还需要看到环境、任务、身体动作和最终结果之间的完整对应关系。
- 01
杯子在哪里
- 02
用户说了什么任务
- 03
手应该怎么靠近
- 04
哪个时刻开始抓
- 05
抓的时候用了多大力
- 06
杯子有没有滑动
- 07
最后抓取成功还是失败
- 08
换了杯子、桌子、光照后还能不能完成
机器人不只学习“看见什么”，还要学习“做了什么、身体和环境发生了什么、最后结果怎么样”。
System loop
机器人数据最重要的连接是什么？
- 环境
- 感知
- 机器人状态
- 动作 / 控制
- 环境与身体变化
- 任务结果 / 反馈
Four modules
机器人数据主要有哪些类型
A · 感知数据
机器人看见、听见、测到什么？
- 图像
- 深度
- 点云
- 语音
- 触觉
- 力觉
感知数据描述机器人从外部世界获得了什么信息。
B · 状态数据
机器人自己现在是什么状态？
- 关节角度
- 速度
- 姿态
- 位置
- 电流
- 温度
状态数据让系统知道机器人身体当前处于什么情况。
C · 动作 / 控制数据
机器人实际做了什么？
- 动作轨迹
- 关节命令
- 速度
- 力矩
- 抓取动作
动作数据记录机器人如何把决策转化成身体行为。
D · 结果 / 反馈数据
动作最后产生了什么结果？
- 成功 / 失败
- 奖励
- 碰撞
- 物体变化
- 人工评价
机器人数据最有价值的地方，往往是把“环境—状态—动作—结果”对应起来。
Responsibility boundary
什么是高质量机器人数据？
数据质量不是单纯看多少 GB 或多少小时，而是看它是否真正支持目标能力。
01 · 准确
记录正确、时间同步可靠
示例：“画面、关节状态和动作指令在同一时间线上对应”
02 · 多样
覆盖不同场景、物体和动作
示例：“不同杯子、桌面、光照和抓取方式”
03 · 有代表性
接近未来真实使用环境
示例：“训练条件与客户现场的变化相符”
04 · 有结果
知道动作最终成功还是失败
示例：“不仅记录过程，也保留结果和反馈”
05 · 与本体匹配
对应真实部署机器人的结构和动作空间
示例：“自由度、传感器和控制频率能够对齐”
高质量数据需要真实、准确、多样、有结果，并与目标任务和机器人本体相匹配。
Continuous feedback
为什么“数据多”不等于“数据好”？
一个机器人即使有一百万条“平地正常行走”数据，如果几乎没有斜坡、湿滑地面、障碍物、推搡、不同负载和失败案例，到了复杂环境仍然可能表现很差。
大量重复数据 ≠ 高质量数据
覆盖真实变化与失败边界的数据，才能帮助机器人理解能力范围
机器人真正需要的不是单纯堆数量，而是覆盖真实变化、目标任务和失败边界的数据。
Why embodied AI is harder
为什么失败数据很重要？
成功数据
- • 告诉机器人什么情况下能做好
- • 提供正确动作与结果的参考
- • 帮助学习有效行为
失败数据
- • 暴露哪些动作会失败
- • 说明哪些环境接近能力边界
- • 帮助识别风险以及何时重规划或停止
只记录成功会让数据看起来很漂亮，但对真实机器人来说，失败数据往往更接近能力边界。
Data and robot learning
机器人数据和 VLA、强化学习、Sim2Real 是什么关系？
数据为不同能力提供训练、分析和验证依据，但有很多数据不等于一定得到好模型。
VLA 需要视觉、语言、动作和结果相互对应的数据；强化学习在状态—动作—奖励—下一状态的交互中持续产生数据；Sim2Real 则利用真实数据校准仿真、发现 Reality Gap、验证策略并支持真机微调。
- VLA：视觉—语言—动作对应
- 强化学习：状态—动作—奖励—下一状态
- Sim2Real：仿真校准与真机验证
- 模型架构
- 训练方式
- 数据质量与覆盖
真实数据是缩小仿真—现实差距的重要依据之一，但无法单独解决所有 Sim2Real 问题；强化学习也不等于先准备一个静态数据集再训练。
Quick memory
机器人数据快速记忆
01 · 感知
机器人看见什么？
02 · 状态
机器人现在怎么样？
03 · 动作
机器人做了什么？
04 · 结果
最后发生了什么？
机器人数据最重要的不是堆数量，而是把“环境—状态—动作—结果”真实地连接起来。
Related concept · 04-robot-data-collection
为什么不同机器人的数据不能简单通用？
同样是伸手抓杯子，不同机器人可能拥有不同自由度、机械臂长度、关节范围、夹爪、传感器、控制频率和动作空间。
一台机器人采集的数据可以迁移、转换和对齐，但通常不能不经适配就直接用于另一台机器人。
→ 04-robot-data-collection 数据采集 · 即将补充Related concept · 04-teleoperation
遥操作为什么常用于采集机器人数据？
人类可以通过遥操作示范任务过程，同时记录视觉、状态、动作与结果之间的对应关系。
遥操作能够提供示范数据，但采集效率、操作差异和数据质量仍需管理。
→ 04-teleoperation 遥操作 · 即将补充Related concept · 04-synthetic-data
合成数据能替代真实数据吗？
合成数据可以低成本扩展场景和边界情况，但生成条件与真实现场之间仍可能存在分布差异。
合成数据可以补充真实数据，但通常仍需要真实环境验证。
→ 04-synthetic-data 合成数据 · 即将补充Real-world difficulty
为什么机器人数据很难
- 01
真实数据采集成本高，依赖机器人、场地、设备和人员
- 02
多模态数据时间同步困难
- 03
不同机器人和传感器的数据标准不统一
- 04
稀有失败场景难以覆盖
- 05
数据质量、隐私、安全与标注成本高
真正困难的不是“有没有数据”，而是有没有足够真实、丰富、可用、匹配目标任务的数据。
Solution perspective
解决方案人员什么时候要想到“数据问题”？
重点不是问客户有多少 TB 数据，而是判断训练数据是否覆盖真实场景、新任务和未来现场可能出现的变化。
客户：“实验室里识别很准，到工厂光线一变就差很多。”
→ 数据覆盖 / 光照变化 / 感知数据分布
客户：“只要换一种杯子就容易抓失败。”
→ 物体多样性 / 数据覆盖 / 泛化
客户：“换了新的机器人本体后原来的模型效果下降。”
→ 本体匹配 / 动作空间 / 数据适配
客户：“机器人几乎没有处理过异常情况。”
→ 失败数据 / 边界场景 / 安全数据
解决方案人员要问的不是“有没有数据”，而是“数据是不是来自真实目标场景，有没有覆盖未来客户现场会遇到的问题”。
Recommended learning
推荐学习资料
平台：哔哩哔哩
Ego、UMI具身智能数据从何而来？如何数据采集？数采技术演变与优劣势
推荐理由：从真实数据采集方式出发，理解具身智能数据为什么难、数据从哪里来，以及不同采集技术的取舍。
去 B 站学习 →Related knowledge
关联知识
- 04-04什么是机器人本体？已完成 →
- 04-05VLA 是什么？已完成 →
- 04-07什么是强化学习？已完成 →
- 04-08什么是 Sim2Real？已完成 →
- 04-10什么是多模态模型？即将补充
- 04-robot-data-collection数据采集即将补充
- 04-teleoperation遥操作即将补充
- 04-synthetic-data合成数据即将补充
Personal notes
我的笔记
记录你的判断：
- • 哪个观点与你已有认知不同？
- • 是否可以应用到工作？
- • 是否值得进一步研究？
声页不是替你学习，而是辅助你形成自己的知识。
Feedback