DoctorAgent-RL : Un système d'apprentissage par renforcement collaboratif multi-agent pour les dialogues cliniques multi-tours
DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue
May 26, 2025
papers.authors: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li
cs.AI
papers.abstract
Les grands modèles de langage (LLMs) ont démontré d'excellentes capacités dans le domaine des réponses aux questions biomédicales, mais leur application dans les consultations cliniques réelles rencontre encore des défis majeurs. Les systèmes existants reposent sur un mode de transmission d'information unidirectionnel où les patients doivent décrire complètement leurs symptômes en une seule fois, ce qui conduit à des recommandations diagnostiques non spécifiques lorsque les plaintes sont vagues. Les méthodes traditionnelles de dialogue multi-tours basées sur l'apprentissage supervisé sont limitées par des paradigmes statiques axés sur les données, manquant de généralisation et peinant à extraire intelligemment les informations cliniques clés. Pour surmonter ces limitations, nous proposons DoctorAgent-RL, un cadre collaboratif multi-agent basé sur l'apprentissage par renforcement (RL) qui modélise les consultations médicales comme un processus dynamique de prise de décision dans l'incertitude. L'agent médecin optimise continuellement sa stratégie de questionnement dans le cadre RL grâce à des interactions multi-tours avec l'agent patient, ajustant dynamiquement son chemin de collecte d'informations en fonction des récompenses globales de l'Évaluateur de Consultation. Ce mécanisme de réglage fin par RL permet aux LLMs de développer de manière autonome des stratégies d'interaction alignées sur la logique du raisonnement clinique, plutôt que d'imiter superficiellement les modèles dans les données de dialogue existantes. Notamment, nous avons construit MTMedDialog, le premier ensemble de données de consultation médicale multi-tours en anglais capable de simuler des interactions patient. Les expériences montrent que DoctorAgent-RL surpasse les modèles existants à la fois en capacité de raisonnement multi-tours et en performance diagnostique finale, démontrant une valeur pratique dans l'assistance aux consultations cliniques. https://github.com/JarvisUSTC/DoctorAgent-RL
English
Large language models (LLMs) have demonstrated excellent capabilities in the
field of biomedical question answering, but their application in real-world
clinical consultations still faces core challenges. Existing systems rely on a
one-way information transmission mode where patients must fully describe their
symptoms in a single round, leading to nonspecific diagnostic recommendations
when complaints are vague. Traditional multi-turn dialogue methods based on
supervised learning are constrained by static data-driven paradigms, lacking
generalizability and struggling to intelligently extract key clinical
information. To address these limitations, we propose DoctorAgent-RL, a
reinforcement learning (RL)-based multi-agent collaborative framework that
models medical consultations as a dynamic decision-making process under
uncertainty. The doctor agent continuously optimizes its questioning strategy
within the RL framework through multi-turn interactions with the patient agent,
dynamically adjusting its information-gathering path based on comprehensive
rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables
LLMs to autonomously develop interaction strategies aligned with clinical
reasoning logic, rather than superficially imitating patterns in existing
dialogue data. Notably, we constructed MTMedDialog, the first English
multi-turn medical consultation dataset capable of simulating patient
interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing
models in both multi-turn reasoning capability and final diagnostic
performance, demonstrating practical value in assisting clinical consultations.
https://github.com/JarvisUSTC/DoctorAgent-RL