1X 机器人 AI 副总裁 Eric Jang 最新长推,表达了他对现在流行的机器人学习方法(例如强化学习、端到端模仿、sim2real)的不满,以及对大模型在机器人领域应用的看好。
先说前情:
机器人专家 Chris Paxton 在评论一条关于提示工程现在比传统机器学习方法更有效时说,
「我觉得我看到了三个重大变化:
- 当我进入机器学习领域时,我们正在训练像隐马尔可夫模型和支持向量机这样的东西
- 然后深度学习出现了,我们正在训练模型
- 然后我们使用 Resnet 主干网络并训练更少的模型,但感知是有效的
- 现在,你只需使用 pip 安装 transformers,不用训练任何东西,它的效果仍然比以前好」
Eric Jang 转发了该帖子表示,
「我仍在消化最后一个,也就是“机器人只是一个 chatgpt 套壳”的方法。你只需让机器人做事情,就能获得很多开箱即用的通用化,而无需自己训练模型。」
「这打破了 2010 年代强化学习/模仿学习研究者的直觉,因为我们一直需要收集数据、训练模型,并创建某种数据引擎才能使任何东西正常运作。工作流程通常是:1. 收集数据,2. 从头开始训练,3. 测试是否有效。」
「4.如果有效,那么可以观察外部权重是否有助于提高样本效率。123 还限制了可以在哪些应用中部署机器人,因为这是一个先有鸡还是先有蛋的问题(需要好的策略来部署,需要部署来获取数据以训练策略)。」
「今天,一个不懂贝叶斯定理或雅可比矩阵的学生可以直接使用 API 和 HuggingFace 模型,制作一个相当引人注目的通用机器人演示,甚至不需要设置日志基础设施。如果你从来不需要训练,就不需要记录或编写数据加载器。」
「我都快说吐了,但三年后我们可能会看到:
制造通用机器人,
被高估的技能:RL、端到端模仿、数据加载、sim2real
被低估:蒸馏、轻度微调、提示工程
中性:日志记录、注释」
链接:http://t.cn/A6RAXG2i
