SRT-H : Un cadre hiérarchique pour la chirurgie autonome via l'apprentissage par imitation conditionné par le langage
SRT-H: A Hierarchical Framework for Autonomous Surgery via Language Conditioned Imitation Learning
May 15, 2025
papers.authors: Ji Woong Kim, Juo-Tung Chen, Pascal Hansen, Lucy X. Shi, Antony Goldenberg, Samuel Schmidgall, Paul Maria Scheikl, Anton Deguet, Brandon M. White, De Ru Tsai, Richard Cha, Jeffrey Jopling, Chelsea Finn, Axel Krieger
cs.AI
papers.abstract
La recherche sur la chirurgie autonome s'est principalement concentrée sur l'automatisation de tâches simples dans des environnements contrôlés. Cependant, les applications chirurgicales réelles nécessitent une manipulation habile sur de longues durées et une généralisation à la variabilité inhérente des tissus humains. Ces défis restent difficiles à relever en utilisant les approches logiques existantes ou les méthodes d'apprentissage conventionnelles de bout en bout. Pour combler cette lacune, nous proposons un cadre hiérarchique pour exécuter des étapes chirurgicales habiles et à long terme. Notre approche utilise une politique de haut niveau pour la planification des tâches et une politique de bas niveau pour générer les trajectoires du robot. Le planificateur de haut niveau planifie dans l'espace linguistique, générant des instructions au niveau de la tâche ou correctives qui guident le robot à travers les étapes à long terme et corrigent les erreurs de la politique de bas niveau. Nous validons notre cadre à travers des expériences ex vivo sur la cholécystectomie, une procédure mini-invasive couramment pratiquée, et menons des études d'ablation pour évaluer les composants clés du système. Notre méthode atteint un taux de réussite de 100 % sur huit vésicules biliaires ex vivo non vues précédemment, fonctionnant de manière entièrement autonome sans intervention humaine. Ce travail démontre l'autonomie au niveau des étapes dans une procédure chirurgicale, marquant une étape importante vers le déploiement clinique des systèmes chirurgicaux autonomes.
English
Research on autonomous surgery has largely focused on simple task automation
in controlled environments. However, real-world surgical applications demand
dexterous manipulation over extended durations and generalization to the
inherent variability of human tissue. These challenges remain difficult to
address using existing logic-based or conventional end-to-end learning
approaches. To address this gap, we propose a hierarchical framework for
performing dexterous, long-horizon surgical steps. Our approach utilizes a
high-level policy for task planning and a low-level policy for generating robot
trajectories. The high-level planner plans in language space, generating
task-level or corrective instructions that guide the robot through the
long-horizon steps and correct for the low-level policy's errors. We validate
our framework through ex vivo experiments on cholecystectomy, a
commonly-practiced minimally invasive procedure, and conduct ablation studies
to evaluate key components of the system. Our method achieves a 100\% success
rate across eight unseen ex vivo gallbladders, operating fully autonomously
without human intervention. This work demonstrates step-level autonomy in a
surgical procedure, marking a milestone toward clinical deployment of
autonomous surgical systems.