最近在谷歌、英特尔、加州大学伯克利分校的合作研究中,研究人员通过用手术教学视频来对机器人进行“训练”,让其能模仿手术过程。
之前,加州大学伯克利分校的教授曾用YouTube视频指导机器人学习各种动作(比如跳跃和跳舞), 而谷歌则是有训练机器人理解场景中的动作的经验。
在最近发布的论文里,研究人员简单介绍了他们如何用YouTube视频来训练两臂达芬奇机器人在针刺机上进行缝合操作。机器人从模仿学习的视频演示中,获得以运动为中心的操作技能。其中算法一致性、可解释性和监督学习的负担是该项目模仿学习中的关键问题,毕竟通常很难精确地描述定义一个片段和标记的内容。
首先研究人员尝试将一小段被标记的视频进行分类,比如手术缝合任务分解成分段动作, 手术的针头刺入、拔针、针头脱落等动作。然后,研究的重点是以半监督的方式从视频演示中提取动作,进行动作分割和模仿任务。
由于训练采用的是Jigsaws 数据集,其中包含3个手术任务的视频演示,分别是缝合、穿针和打结。所以在这次测试中,只有机器人尝试模拟缝合运动,并没有考虑更多的技术建模或者其他的问题。
除此之外,数据集里的视频演示并不只有一位医师,而是由8位技术等级不同的外科医师组成,所以这会产生一个问题,不同的医师,习惯可能会不同。而机器人正是要学习所有医师的缝合视频。
在缝合任务中,该团队仅用了78个医学教学视频就能训练两臂达芬奇机器人的AI引擎进行相同操作,而且声称有接近85%的成功率。
(本报综合)