i陆三金
24-07-17 10:09 微博认证:AI博主

约翰霍普金斯大学、斯坦福大学合作的手术机器人 Transformer(Surgical Robot Transformer ,SRT),通过端到端模仿学习实现手术任务自动化。

在达芬奇机器人上,该项目实现了自动化:
- 打结
- 针头操作
- 软组织操作

手术任务非常适合模仿学习。使用远程操作机器人完成的手术超过 1200 万例,产生了大量可供模仿的高质量数据流。

另一方面,基于模型/模拟的方法则难以应对器官和组织的复杂物理特性。

该项目的方法:

1) 硬件

达芬奇可以说是目前最直观的远程操作系统。但它存在运动学误差:如果改变工具的方向,跟踪性能就会发生变化。

如果动作空间是绝对的,那么这将带来问题。为了解决这个问题,该项目开发了一个混合关系动作空间,其中增量位置在内窥镜框架中定义,增量旋转在末端执行器框架中定义。这减少了运动误差并提高了性能。

2) 模仿学习

该项目为每个任务收集了 200-500 次演示,然后对 ACT 和 Diffusion Policy 进行了训练。该项目发现,增加腕部摄像头能显著提高更精细的子任务的性能。

项目链接:http://t.cn/A68Po1As http://t.cn/A68PKtjq

发布于 北京