SRT-H: Иерархическая структура для автономной хирургии через обучение с подражанием, управляемое языком
SRT-H: A Hierarchical Framework for Autonomous Surgery via Language Conditioned Imitation Learning
May 15, 2025
Авторы: Ji Woong Kim, Juo-Tung Chen, Pascal Hansen, Lucy X. Shi, Antony Goldenberg, Samuel Schmidgall, Paul Maria Scheikl, Anton Deguet, Brandon M. White, De Ru Tsai, Richard Cha, Jeffrey Jopling, Chelsea Finn, Axel Krieger
cs.AI
Аннотация
Исследования в области автономной хирургии в основном сосредоточены на автоматизации простых задач в контролируемых условиях. Однако реальные хирургические приложения требуют ловкого манипулирования в течение длительного времени и способности адаптироваться к присущей изменчивости человеческих тканей. Эти задачи остаются сложными для решения с использованием существующих логических или традиционных подходов сквозного обучения. Для устранения этого пробела мы предлагаем иерархическую структуру для выполнения ловких, долгосрочных хирургических шагов. Наш подход использует высокоуровневую политику для планирования задач и низкоуровневую политику для генерации траекторий робота. Высокоуровневый планировщик работает в языковом пространстве, создавая инструкции на уровне задач или корректирующие команды, которые направляют робота через долгосрочные шаги и исправляют ошибки низкоуровневой политики. Мы проверяем нашу структуру с помощью экспериментов ex vivo на холецистэктомии, широко применяемой минимально инвазивной процедуре, и проводим исследования по удалению компонентов для оценки ключевых элементов системы. Наш метод достигает 100\% успешности на восьми невидимых ex vivo желчных пузырях, работая полностью автономно без вмешательства человека. Эта работа демонстрирует автономность на уровне шагов в хирургической процедуре, что является важным шагом на пути к клиническому внедрению автономных хирургических систем.
English
Research on autonomous surgery has largely focused on simple task automation
in controlled environments. However, real-world surgical applications demand
dexterous manipulation over extended durations and generalization to the
inherent variability of human tissue. These challenges remain difficult to
address using existing logic-based or conventional end-to-end learning
approaches. To address this gap, we propose a hierarchical framework for
performing dexterous, long-horizon surgical steps. Our approach utilizes a
high-level policy for task planning and a low-level policy for generating robot
trajectories. The high-level planner plans in language space, generating
task-level or corrective instructions that guide the robot through the
long-horizon steps and correct for the low-level policy's errors. We validate
our framework through ex vivo experiments on cholecystectomy, a
commonly-practiced minimally invasive procedure, and conduct ablation studies
to evaluate key components of the system. Our method achieves a 100\% success
rate across eight unseen ex vivo gallbladders, operating fully autonomously
without human intervention. This work demonstrates step-level autonomy in a
surgical procedure, marking a milestone toward clinical deployment of
autonomous surgical systems.