SRT-H: 언어 조건화 모방 학습을 통한 자율 수술을 위한 계층적 프레임워크
SRT-H: A Hierarchical Framework for Autonomous Surgery via Language Conditioned Imitation Learning
May 15, 2025
저자: Ji Woong Kim, Juo-Tung Chen, Pascal Hansen, Lucy X. Shi, Antony Goldenberg, Samuel Schmidgall, Paul Maria Scheikl, Anton Deguet, Brandon M. White, De Ru Tsai, Richard Cha, Jeffrey Jopling, Chelsea Finn, Axel Krieger
cs.AI
초록
자율 수술에 대한 연구는 주로 통제된 환경에서의 단순 작업 자동화에 초점을 맞추어 왔다. 그러나 실제 수술 응용에서는 장시간에 걸친 정교한 조작과 인간 조직의 고유한 변이성에 대한 일반화가 요구된다. 이러한 도전 과제들은 기존의 논리 기반 또는 전통적인 종단간 학습 접근법으로는 해결하기 어려운 문제로 남아 있다. 이러한 격차를 해결하기 위해, 우리는 정교하고 장기적인 수술 단계를 수행하기 위한 계층적 프레임워크를 제안한다. 우리의 접근법은 작업 계획을 위한 상위 수준 정책과 로봇 궤적 생성을 위한 하위 수준 정책을 활용한다. 상위 수준 계획자는 언어 공간에서 계획을 수립하며, 장기적인 단계를 안내하고 하위 수준 정책의 오류를 수정하기 위한 작업 수준 또는 수정 지시를 생성한다. 우리는 일반적으로 시행되는 최소 침습 수술인 담낭 절제술에 대한 생체 외 실험을 통해 이 프레임워크를 검증하고, 시스템의 주요 구성 요소를 평가하기 위해 절제 연구를 수행하였다. 우리의 방법은 인간의 개입 없이 완전히 자율적으로 작동하며, 보지 않은 8개의 생체 외 담낭에서 100%의 성공률을 달성하였다. 이 연구는 수술 절차에서 단계 수준의 자율성을 입증함으로써, 자율 수술 시스템의 임상 적용을 위한 이정표를 세웠다.
English
Research on autonomous surgery has largely focused on simple task automation
in controlled environments. However, real-world surgical applications demand
dexterous manipulation over extended durations and generalization to the
inherent variability of human tissue. These challenges remain difficult to
address using existing logic-based or conventional end-to-end learning
approaches. To address this gap, we propose a hierarchical framework for
performing dexterous, long-horizon surgical steps. Our approach utilizes a
high-level policy for task planning and a low-level policy for generating robot
trajectories. The high-level planner plans in language space, generating
task-level or corrective instructions that guide the robot through the
long-horizon steps and correct for the low-level policy's errors. We validate
our framework through ex vivo experiments on cholecystectomy, a
commonly-practiced minimally invasive procedure, and conduct ablation studies
to evaluate key components of the system. Our method achieves a 100\% success
rate across eight unseen ex vivo gallbladders, operating fully autonomously
without human intervention. This work demonstrates step-level autonomy in a
surgical procedure, marking a milestone toward clinical deployment of
autonomous surgical systems.