CarePilot: Un Marco de Multiagente para la Automatización de Tareas Informáticas de Largo Horizonte en el Ámbito Sanitario

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

March 25, 2026

Autores: Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

cs.AI

Resumen

Los flujos de trabajo agentivos multimodales están transformando la interacción humano-computadora al permitir la automatización eficiente y accesible de tareas complejas del mundo real. Sin embargo, los esfuerzos recientes se han centrado en aplicaciones de horizonte corto o de propósito general (por ejemplo, interfaces móviles o de escritorio), dejando la automatización de horizonte largo para sistemas específicos de dominio, particularmente en el ámbito de la salud, prácticamente inexplorada. Para abordar esta brecha, presentamos CareFlow, un benchmark de alta calidad anotado manualmente que comprende flujos de trabajo de software complejos y de horizonte largo a través de herramientas de anotación médica, visores DICOM, sistemas de historia clínica electrónica (HCE) y sistemas de información de laboratorio. En este benchmark, los modelos de visión y lenguaje (VLMs) existentes tienen un rendimiento deficiente, mostrando dificultades con el razonamiento de horizonte largo y las interacciones multi-paso en contextos médicos. Para superar esto, proponemos CarePilot, un marco multi-agente basado en el paradigma actor-crítico. El Actor integra la fundamentación en herramientas con mecanismos de memoria dual (experiencia a largo y corto plazo) para predecir la siguiente acción semántica a partir del estado de la interfaz visual y del sistema. El Crítico evalúa cada acción, actualiza la memoria basándose en los efectos observados, y ejecuta la acción o proporciona retroalimentación correctiva para refinar el flujo de trabajo. Mediante una simulación agentiva iterativa, el Actor aprende a realizar predicciones más robustas y conscientes del razonamiento durante la inferencia. Nuestros experimentos muestran que CarePilot logra un rendimiento de vanguardia, superando a las líneas base multimodales fuertes, tanto de código cerrado como abierto, en aproximadamente un 15.26% y un 3.38%, respectivamente, en nuestro benchmark y en un conjunto de datos fuera de distribución.

English

Multimodal agentic pipelines are transforming human-computer interaction by enabling efficient and accessible automation of complex, real-world tasks. However, recent efforts have focused on short-horizon or general-purpose applications (e.g., mobile or desktop interfaces), leaving long-horizon automation for domain-specific systems, particularly in healthcare, largely unexplored. To address this, we introduce CareFlow, a high-quality human-annotated benchmark comprising complex, long-horizon software workflows across medical annotation tools, DICOM viewers, EHR systems, and laboratory information systems. On this benchmark, existing vision-language models (VLMs) perform poorly, struggling with long-horizon reasoning and multi-step interactions in medical contexts. To overcome this, we propose CarePilot, a multi-agent framework based on the actor-critic paradigm. The Actor integrates tool grounding with dual-memory mechanisms (long-term and short-term experience) to predict the next semantic action from the visual interface and system state. The Critic evaluates each action, updates memory based on observed effects, and either executes or provides corrective feedback to refine the workflow. Through iterative agentic simulation, the Actor learns to perform more robust and reasoning-aware predictions during inference. Our experiments show that CarePilot achieves state-of-the-art performance, outperforming strong closed-source and open-source multimodal baselines by approximately 15.26% and 3.38%, respectively, on our benchmark and out-of-distribution dataset.