DoctorAgent-RL: Многозадачная система совместного обучения с подкреплением для многоходового клинического диалога

DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue

May 26, 2025

Авторы: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающиеся способности в области биомедицинского ответа на вопросы, однако их применение в реальных клинических консультациях по-прежнему сталкивается с ключевыми проблемами. Существующие системы полагаются на односторонний режим передачи информации, при котором пациенты должны полностью описать свои симптомы за один раунд, что приводит к неспецифическим диагностическим рекомендациям в случае расплывчатых жалоб. Традиционные методы многораундового диалога, основанные на обучении с учителем, ограничены статичными парадигмами, ориентированными на данные, что снижает их обобщаемость и затрудняет интеллектуальное извлечение ключевой клинической информации. Для преодоления этих ограничений мы предлагаем DoctorAgent-RL — многоагентную совместную структуру, основанную на обучении с подкреплением (RL), которая моделирует медицинские консультации как динамический процесс принятия решений в условиях неопределенности. Агент-врач непрерывно оптимизирует свою стратегию вопросов в рамках RL через многораундовое взаимодействие с агентом-пациентом, динамически корректируя путь сбора информации на основе комплексных оценок от Консультационного Оценщика. Этот механизм тонкой настройки RL позволяет LLM автономно разрабатывать стратегии взаимодействия, соответствующие логике клинического рассуждения, вместо поверхностного копирования шаблонов из существующих диалоговых данных. Примечательно, что мы создали MTMedDialog — первый англоязычный набор данных для многораундовых медицинских консультаций, способный моделировать взаимодействия с пациентами. Эксперименты показывают, что DoctorAgent-RL превосходит существующие модели как в способности к многораундовому рассуждению, так и в итоговой диагностической производительности, демонстрируя практическую ценность в поддержке клинических консультаций. https://github.com/JarvisUSTC/DoctorAgent-RL

English

Large language models (LLMs) have demonstrated excellent capabilities in the field of biomedical question answering, but their application in real-world clinical consultations still faces core challenges. Existing systems rely on a one-way information transmission mode where patients must fully describe their symptoms in a single round, leading to nonspecific diagnostic recommendations when complaints are vague. Traditional multi-turn dialogue methods based on supervised learning are constrained by static data-driven paradigms, lacking generalizability and struggling to intelligently extract key clinical information. To address these limitations, we propose DoctorAgent-RL, a reinforcement learning (RL)-based multi-agent collaborative framework that models medical consultations as a dynamic decision-making process under uncertainty. The doctor agent continuously optimizes its questioning strategy within the RL framework through multi-turn interactions with the patient agent, dynamically adjusting its information-gathering path based on comprehensive rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables LLMs to autonomously develop interaction strategies aligned with clinical reasoning logic, rather than superficially imitating patterns in existing dialogue data. Notably, we constructed MTMedDialog, the first English multi-turn medical consultation dataset capable of simulating patient interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing models in both multi-turn reasoning capability and final diagnostic performance, demonstrating practical value in assisting clinical consultations. https://github.com/JarvisUSTC/DoctorAgent-RL