SRT-H: Een hiërarchisch raamwerk voor autonome chirurgie via taalgeconditioneerde imitatieleren
SRT-H: A Hierarchical Framework for Autonomous Surgery via Language Conditioned Imitation Learning
May 15, 2025
Auteurs: Ji Woong Kim, Juo-Tung Chen, Pascal Hansen, Lucy X. Shi, Antony Goldenberg, Samuel Schmidgall, Paul Maria Scheikl, Anton Deguet, Brandon M. White, De Ru Tsai, Richard Cha, Jeffrey Jopling, Chelsea Finn, Axel Krieger
cs.AI
Samenvatting
Onderzoek naar autonome chirurgie heeft zich grotendeels gericht op de automatisering van eenvoudige taken in gecontroleerde omgevingen. Echter, echte chirurgische toepassingen vereisen behendige manipulatie over langere perioden en generalisatie naar de inherente variabiliteit van menselijk weefsel. Deze uitdagingen blijven moeilijk aan te pakken met bestaande logica-gebaseerde of conventionele end-to-end leerbenaderingen. Om deze kloof te overbruggen, stellen we een hiërarchisch framework voor voor het uitvoeren van behendige, langetermijn chirurgische stappen. Onze aanpak maakt gebruik van een hoog-niveau beleid voor taakplanning en een laag-niveau beleid voor het genereren van robot trajecten. De hoog-niveau planner plant in taalruimte, waarbij taakniveau of corrigerende instructies worden gegenereerd die de robot door de langetermijn stappen leiden en fouten van het laag-niveau beleid corrigeren. We valideren ons framework door ex vivo experimenten op cholecystectomie, een veelvoorkomende minimaal invasieve procedure, en voeren ablatiestudies uit om de belangrijkste componenten van het systeem te evalueren. Onze methode behaalt een 100% slagingspercentage over acht onbekende ex vivo galblaassen, waarbij volledig autonoom wordt geopereerd zonder menselijke interventie. Dit werk demonstreert stapniveau autonomie in een chirurgische procedure, wat een mijlpaal markeert naar de klinische implementatie van autonome chirurgische systemen.
English
Research on autonomous surgery has largely focused on simple task automation
in controlled environments. However, real-world surgical applications demand
dexterous manipulation over extended durations and generalization to the
inherent variability of human tissue. These challenges remain difficult to
address using existing logic-based or conventional end-to-end learning
approaches. To address this gap, we propose a hierarchical framework for
performing dexterous, long-horizon surgical steps. Our approach utilizes a
high-level policy for task planning and a low-level policy for generating robot
trajectories. The high-level planner plans in language space, generating
task-level or corrective instructions that guide the robot through the
long-horizon steps and correct for the low-level policy's errors. We validate
our framework through ex vivo experiments on cholecystectomy, a
commonly-practiced minimally invasive procedure, and conduct ablation studies
to evaluate key components of the system. Our method achieves a 100\% success
rate across eight unseen ex vivo gallbladders, operating fully autonomously
without human intervention. This work demonstrates step-level autonomy in a
surgical procedure, marking a milestone toward clinical deployment of
autonomous surgical systems.