CarePilot: Uma Estrutura Multiagente para Automação de Tarefas Computacionais de Longo Prazo na Área da Saúde
CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare
March 25, 2026
Autores: Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan
cs.AI
Resumo
Os pipelines agentivos multimodais estão transformando a interação humano-computador ao permitir a automação eficiente e acessível de tarefas complexas do mundo real. No entanto, esforços recentes concentraram-se em aplicações de curto prazo ou de propósito geral (por exemplo, interfaces móveis ou de desktop), deixando a automação de longo prazo para sistemas específicos de domínio, particularmente na área da saúde, largamente inexplorada. Para enfrentar este desafio, apresentamos o CareFlow, um benchmark de alta qualidade anotado manualmente, que compreende fluxos de trabalho de software complexos e de longo prazo através de ferramentas de anotação médica, visualizadores DICOM, sistemas de Prontuário Eletrônico de Saúde (EHR) e sistemas de informação laboratorial. Neste benchmark, os modelos visão-linguagem (VLM) existentes têm um desempenho fraco, lutando com o raciocínio de longo prazo e as interações multi-etapa em contextos médicos. Para superar isto, propomos o CarePilot, uma arquitetura multiagente baseada no paradigma ator-crítico. O Ator integra o grounding de ferramentas com mecanismos de memória dupla (experiência de longo e curto prazo) para prever a próxima ação semântica a partir do estado visual da interface e do sistema. O Crítico avalia cada ação, atualiza a memória com base nos efeitos observados e executa a ação ou fornece feedback corretivo para refinar o fluxo de trabalho. Através de simulação agentiva iterativa, o Ator aprende a realizar previsões mais robustas e conscientes do raciocínio durante a inferência. Nossos experimentos mostram que o CarePilot atinge um desempenho state-of-the-art, superando as bases multimodais fortes de código fechado e de código aberto em aproximadamente 15,26% e 3,38%, respectivamente, no nosso benchmark e num conjunto de dados fora da distribuição.
English
Multimodal agentic pipelines are transforming human-computer interaction by enabling efficient and accessible automation of complex, real-world tasks. However, recent efforts have focused on short-horizon or general-purpose applications (e.g., mobile or desktop interfaces), leaving long-horizon automation for domain-specific systems, particularly in healthcare, largely unexplored. To address this, we introduce CareFlow, a high-quality human-annotated benchmark comprising complex, long-horizon software workflows across medical annotation tools, DICOM viewers, EHR systems, and laboratory information systems. On this benchmark, existing vision-language models (VLMs) perform poorly, struggling with long-horizon reasoning and multi-step interactions in medical contexts. To overcome this, we propose CarePilot, a multi-agent framework based on the actor-critic paradigm. The Actor integrates tool grounding with dual-memory mechanisms (long-term and short-term experience) to predict the next semantic action from the visual interface and system state. The Critic evaluates each action, updates memory based on observed effects, and either executes or provides corrective feedback to refine the workflow. Through iterative agentic simulation, the Actor learns to perform more robust and reasoning-aware predictions during inference. Our experiments show that CarePilot achieves state-of-the-art performance, outperforming strong closed-source and open-source multimodal baselines by approximately 15.26% and 3.38%, respectively, on our benchmark and out-of-distribution dataset.