CarePilot: Мультиагентный фреймворк для автоматизации длительных компьютерных задач в здравоохранении

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

March 25, 2026

Авторы: Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

cs.AI

Аннотация

Мультимодальные агентные конвейеры преобразуют взаимодействие человека с компьютером, обеспечивая эффективную и доступную автоматизацию сложных практических задач. Однако последние разработки сосредоточены на краткосрочных или универсальных приложениях (например, мобильных или десктопных интерфейсах), оставляя долгосрочную автоматизацию для предметно-ориентированных систем, особенно в здравоохранении, практически неисследованной. Для решения этой проблемы мы представляем CareFlow — высококачественный бенчмарк с человеческой разметкой, включающий сложные многоэтапные программные workflow в медицинских инструментах аннотирования, DICOM-вьюерах, системах электронных медицинских карт (EHR) и лабораторных информационных системах. На этом бенчмарке современные Vision-Language модели (VLM) показывают низкие результаты, испытывая трудности с долгосрочным логическим выводом и многошаговыми взаимодействиями в медицинском контексте. Для преодоления этих ограничений мы предлагаем CarePilot — мультиагентный фреймворк, основанный на парадигме "актор-критик". Агент-актор интегрирует инструментальную граундингу с механизмами двойной памяти (долговременной и кратковременной) для прогнозирования следующего семантического действия на основе визуального интерфейса и состояния системы. Агент-критик оценивает каждое действие, обновляет память на основе наблюдаемых эффектов и либо выполняет действие, либо предоставляет корректирующую обратную связь для оптимизации workflow. Благодаря итеративной агентной симуляции актор обучается выполнять более устойчивые и осознанные прогнозы на этапе inference. Наши эксперименты показывают, что CarePilot достигает state-of-the-art результатов, превосходя сильные закрытые и открытые мультимодальные базовые линии примерно на 15,26% и 3,38% соответственно на нашем бенчмарке и out-of-distribution наборе данных.

English

Multimodal agentic pipelines are transforming human-computer interaction by enabling efficient and accessible automation of complex, real-world tasks. However, recent efforts have focused on short-horizon or general-purpose applications (e.g., mobile or desktop interfaces), leaving long-horizon automation for domain-specific systems, particularly in healthcare, largely unexplored. To address this, we introduce CareFlow, a high-quality human-annotated benchmark comprising complex, long-horizon software workflows across medical annotation tools, DICOM viewers, EHR systems, and laboratory information systems. On this benchmark, existing vision-language models (VLMs) perform poorly, struggling with long-horizon reasoning and multi-step interactions in medical contexts. To overcome this, we propose CarePilot, a multi-agent framework based on the actor-critic paradigm. The Actor integrates tool grounding with dual-memory mechanisms (long-term and short-term experience) to predict the next semantic action from the visual interface and system state. The Critic evaluates each action, updates memory based on observed effects, and either executes or provides corrective feedback to refine the workflow. Through iterative agentic simulation, the Actor learns to perform more robust and reasoning-aware predictions during inference. Our experiments show that CarePilot achieves state-of-the-art performance, outperforming strong closed-source and open-source multimodal baselines by approximately 15.26% and 3.38%, respectively, on our benchmark and out-of-distribution dataset.