SRT-H: Um Framework Hierárquico para Cirurgia Autônoma via Aprendizado por Imitação Condicionado por Linguagem
SRT-H: A Hierarchical Framework for Autonomous Surgery via Language Conditioned Imitation Learning
May 15, 2025
Autores: Ji Woong Kim, Juo-Tung Chen, Pascal Hansen, Lucy X. Shi, Antony Goldenberg, Samuel Schmidgall, Paul Maria Scheikl, Anton Deguet, Brandon M. White, De Ru Tsai, Richard Cha, Jeffrey Jopling, Chelsea Finn, Axel Krieger
cs.AI
Resumo
A pesquisa em cirurgia autônoma tem se concentrado principalmente na automação de tarefas simples em ambientes controlados. No entanto, aplicações cirúrgicas no mundo real exigem manipulação hábil durante períodos prolongados e generalização para a variabilidade inerente dos tecidos humanos. Esses desafios permanecem difíceis de abordar usando abordagens baseadas em lógica convencional ou aprendizado de ponta a ponta tradicional. Para preencher essa lacuna, propomos uma estrutura hierárquica para a execução de etapas cirúrgicas hábeis e de longo prazo. Nossa abordagem utiliza uma política de alto nível para planejamento de tarefas e uma política de baixo nível para gerar trajetórias do robô. O planejador de alto nível opera no espaço da linguagem, gerando instruções em nível de tarefa ou corretivas que guiam o robô através das etapas de longo prazo e corrigem os erros da política de baixo nível. Validamos nossa estrutura por meio de experimentos ex vivo em colecistectomia, um procedimento minimamente invasivo comumente praticado, e realizamos estudos de ablação para avaliar componentes-chave do sistema. Nosso método alcança uma taxa de sucesso de 100% em oito vesículas biliares ex vivo não vistas, operando de forma totalmente autônoma sem intervenção humana. Este trabalho demonstra autonomia em nível de etapa em um procedimento cirúrgico, marcando um marco em direção à implantação clínica de sistemas cirúrgicos autônomos.
English
Research on autonomous surgery has largely focused on simple task automation
in controlled environments. However, real-world surgical applications demand
dexterous manipulation over extended durations and generalization to the
inherent variability of human tissue. These challenges remain difficult to
address using existing logic-based or conventional end-to-end learning
approaches. To address this gap, we propose a hierarchical framework for
performing dexterous, long-horizon surgical steps. Our approach utilizes a
high-level policy for task planning and a low-level policy for generating robot
trajectories. The high-level planner plans in language space, generating
task-level or corrective instructions that guide the robot through the
long-horizon steps and correct for the low-level policy's errors. We validate
our framework through ex vivo experiments on cholecystectomy, a
commonly-practiced minimally invasive procedure, and conduct ablation studies
to evaluate key components of the system. Our method achieves a 100\% success
rate across eight unseen ex vivo gallbladders, operating fully autonomously
without human intervention. This work demonstrates step-level autonomy in a
surgical procedure, marking a milestone toward clinical deployment of
autonomous surgical systems.