约翰霍普金斯大学、斯坦福大学合作的手术机器人 Transformer(Surgical Robot Transformer ,SRT),通过端到端模仿学习实现手术任务自动化。
在达芬奇机器人上,该项目实现了自动化:
- 打结
- 针头操作
- 软组织操作
手术任务非常适合模仿学习。使用远程操作机器人完成的手术超过 1200 万例,产生了大量可供模仿的高质量数据流。
另一方面,基于模型/模拟的方法则难以应对器官和组织的复杂物理特性。
该项目的方法:
1) 硬件
达芬奇可以说是目前最直观的远程操作系统。但它存在运动学误差:如果改变工具的方向,跟踪性能就会发生变化。
如果动作空间是绝对的,那么这将带来问题。为了解决这个问题,该项目开发了一个混合关系动作空间,其中增量位置在内窥镜框架中定义,增量旋转在末端执行器框架中定义。这减少了运动误差并提高了性能。
2) 模仿学习
该项目为每个任务收集了 200-500 次演示,然后对 ACT 和 Diffusion Policy 进行了训练。该项目发现,增加腕部摄像头能显著提高更精细的子任务的性能。
项目链接:http://t.cn/A68Po1As http://t.cn/A68PKtjq
发布于 北京
