DoctorAgent-RL: Een Multi-Agent Collaboratief Reinforcement Learning Systeem voor Multi-Turn Klinische Dialogen
DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue
May 26, 2025
Auteurs: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li
cs.AI
Samenvatting
Grote taalmodellen (LLMs) hebben uitstekende capaciteiten getoond op het gebied van biomedische vraag-antwoordtaken, maar hun toepassing in real-world klinische consultaties blijft kernuitdagingen kennen. Bestaande systemen vertrouwen op een eenrichtingsinformatieoverdracht waarbij patiënten hun symptomen in één ronde volledig moeten beschrijven, wat leidt tot niet-specifieke diagnostische aanbevelingen wanneer klachten vaag zijn. Traditionele meerronde dialoogmethoden gebaseerd op supervised learning worden beperkt door statische, data-gedreven paradigma's, hebben een gebrek aan generaliseerbaarheid en worstelen met het intelligent extraheren van cruciale klinische informatie. Om deze beperkingen aan te pakken, stellen we DoctorAgent-RL voor, een reinforcement learning (RL)-gebaseerd multi-agent samenwerkingskader dat medische consultaties modelleert als een dynamisch besluitvormingsproces onder onzekerheid. De dokter-agent optimaliseert continu zijn vraagstrategie binnen het RL-kader door meerronde interacties met de patiënt-agent, waarbij het dynamisch zijn informatieverzamelingspad aanpast op basis van uitgebreide beloningen van de Consultatie Evaluator. Dit RL-finetuningmechanisme stelt LLMs in staat om autonoom interactiestrategieën te ontwikkelen die aansluiten bij klinische redeneerlogica, in plaats van oppervlakkig patronen in bestaande dialoogdata na te bootsen. Opmerkelijk is dat we MTMedDialog hebben geconstrueerd, de eerste Engelse meerronde medische consultatiedataset die patiëntinteracties kan simuleren. Experimenten tonen aan dat DoctorAgent-RL bestaande modellen overtreft in zowel meerronde redeneercapaciteit als uiteindelijke diagnostische prestaties, wat praktische waarde aantoont bij het ondersteunen van klinische consultaties. https://github.com/JarvisUSTC/DoctorAgent-RL
English
Large language models (LLMs) have demonstrated excellent capabilities in the
field of biomedical question answering, but their application in real-world
clinical consultations still faces core challenges. Existing systems rely on a
one-way information transmission mode where patients must fully describe their
symptoms in a single round, leading to nonspecific diagnostic recommendations
when complaints are vague. Traditional multi-turn dialogue methods based on
supervised learning are constrained by static data-driven paradigms, lacking
generalizability and struggling to intelligently extract key clinical
information. To address these limitations, we propose DoctorAgent-RL, a
reinforcement learning (RL)-based multi-agent collaborative framework that
models medical consultations as a dynamic decision-making process under
uncertainty. The doctor agent continuously optimizes its questioning strategy
within the RL framework through multi-turn interactions with the patient agent,
dynamically adjusting its information-gathering path based on comprehensive
rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables
LLMs to autonomously develop interaction strategies aligned with clinical
reasoning logic, rather than superficially imitating patterns in existing
dialogue data. Notably, we constructed MTMedDialog, the first English
multi-turn medical consultation dataset capable of simulating patient
interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing
models in both multi-turn reasoning capability and final diagnostic
performance, demonstrating practical value in assisting clinical consultations.
https://github.com/JarvisUSTC/DoctorAgent-RL