CarePilot: Un Framework Multi-Agente per l'Automazione di Attività Informatiche a Lungo Orizzonte in Ambito Sanitario

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

March 25, 2026

Autori: Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

cs.AI

Abstract

Le pipeline agentiche multimodali stanno trasformando l'interazione uomo-computer, consentendo l'automazione efficiente e accessibile di compiti complessi del mondo reale. Tuttavia, gli sforzi recenti si sono concentrati su applicazioni a breve termine o di carattere generale (ad esempio, interfacce mobili o desktop), lasciando in gran parte inesplorata l'automazione a lungo termine per sistemi domain-specific, particolarmente in ambito sanitario. Per colmare questa lacuna, presentiamo CareFlow, un benchmark di alta qualità annotato manualmente, che comprende flussi di lavoro software complessi e a lungo termine attraverso strumenti di annotazione medica, visualizzatori DICOM, sistemi di cartella clinica elettronica (EHR) e sistemi informativi di laboratorio. Su questo benchmark, gli attuali modelli visione-linguaggio (VLM) ottengono prestazioni scarse, dimostrando difficoltà nel ragionamento a lungo termine e nelle interazioni multi-step in contesti medici. Per superare queste limitazioni, proponiamo CarePilot, un framework multi-agente basato sul paradigma attore-critico. L'Attore integra il grounding degli strumenti con meccanismi di memoria duale (esperienza a lungo e breve termine) per prevedere la prossima azione semantica dall'interfaccia visiva e dallo stato del sistema. Il Critico valuta ogni azione, aggiorna la memoria in base agli effetti osservati, ed esegue o fornisce feedback correttivi per affinare il flusso di lavoro. Attraverso una simulazione agentica iterativa, l'Attore impara a effettuare previsioni più robuste e consapevoli del ragionamento durante l'inferenza. I nostri esperimenti dimostrano che CarePilot raggiunge prestazioni all'avanguardia, superando rispettivamente di circa il 15,26% e il 3,38% le solide baseline multimodali closed-source e open-source sul nostro benchmark e su un dataset out-of-distribution.

English

Multimodal agentic pipelines are transforming human-computer interaction by enabling efficient and accessible automation of complex, real-world tasks. However, recent efforts have focused on short-horizon or general-purpose applications (e.g., mobile or desktop interfaces), leaving long-horizon automation for domain-specific systems, particularly in healthcare, largely unexplored. To address this, we introduce CareFlow, a high-quality human-annotated benchmark comprising complex, long-horizon software workflows across medical annotation tools, DICOM viewers, EHR systems, and laboratory information systems. On this benchmark, existing vision-language models (VLMs) perform poorly, struggling with long-horizon reasoning and multi-step interactions in medical contexts. To overcome this, we propose CarePilot, a multi-agent framework based on the actor-critic paradigm. The Actor integrates tool grounding with dual-memory mechanisms (long-term and short-term experience) to predict the next semantic action from the visual interface and system state. The Critic evaluates each action, updates memory based on observed effects, and either executes or provides corrective feedback to refine the workflow. Through iterative agentic simulation, the Actor learns to perform more robust and reasoning-aware predictions during inference. Our experiments show that CarePilot achieves state-of-the-art performance, outperforming strong closed-source and open-source multimodal baselines by approximately 15.26% and 3.38%, respectively, on our benchmark and out-of-distribution dataset.