DoctorAgent-RL: Ein Multi-Agenten-Kollaboratives Reinforcement-Learning-System für Mehrschrittige Klinische Dialoge

DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue

May 26, 2025

Autoren: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben hervorragende Fähigkeiten im Bereich der biomedizinischen Frage-Antwort-Systeme gezeigt, doch ihre Anwendung in realen klinischen Konsultationen steht weiterhin vor zentralen Herausforderungen. Bestehende Systeme basieren auf einem einseitigen Informationsübertragungsmodus, bei dem Patienten ihre Symptome in einer einzigen Runde vollständig beschreiben müssen, was zu unspezifischen Diagnoseempfehlungen führt, wenn die Beschwerden vage sind. Traditionelle mehrstufige Dialogmethoden, die auf überwachtem Lernen basieren, sind durch statische, datengetriebene Paradigmen eingeschränkt, weisen mangelnde Generalisierbarkeit auf und haben Schwierigkeiten, klinische Schlüsselinformationen intelligent zu extrahieren. Um diese Einschränkungen zu überwinden, schlagen wir DoctorAgent-RL vor, ein auf Reinforcement Learning (RL) basierendes Multi-Agenten-Kollaborationsframework, das medizinische Konsultationen als dynamischen Entscheidungsprozess unter Unsicherheit modelliert. Der Arzt-Agent optimiert kontinuierlich seine Fragestrategie innerhalb des RL-Frameworks durch mehrstufige Interaktionen mit dem Patienten-Agent und passt seinen Informationserfassungspfad dynamisch basierend auf umfassenden Belohnungen des Konsultationsbewerters an. Dieser RL-Feinabstimmungsmechanismus ermöglicht es LLMs, autonom Interaktionsstrategien zu entwickeln, die der klinischen Logik entsprechen, anstatt oberflächlich Muster in bestehenden Dialogdaten nachzuahmen. Bemerkenswert ist, dass wir MTMedDialog konstruiert haben, den ersten englischsprachigen mehrstufigen medizinischen Konsultationsdatensatz, der Patienteninteraktionen simulieren kann. Experimente zeigen, dass DoctorAgent-RL bestehende Modelle sowohl in der mehrstufigen Argumentationsfähigkeit als auch in der endgültigen Diagnoseleistung übertrifft und damit praktischen Wert bei der Unterstützung klinischer Konsultationen demonstriert. https://github.com/JarvisUSTC/DoctorAgent-RL

English

Large language models (LLMs) have demonstrated excellent capabilities in the field of biomedical question answering, but their application in real-world clinical consultations still faces core challenges. Existing systems rely on a one-way information transmission mode where patients must fully describe their symptoms in a single round, leading to nonspecific diagnostic recommendations when complaints are vague. Traditional multi-turn dialogue methods based on supervised learning are constrained by static data-driven paradigms, lacking generalizability and struggling to intelligently extract key clinical information. To address these limitations, we propose DoctorAgent-RL, a reinforcement learning (RL)-based multi-agent collaborative framework that models medical consultations as a dynamic decision-making process under uncertainty. The doctor agent continuously optimizes its questioning strategy within the RL framework through multi-turn interactions with the patient agent, dynamically adjusting its information-gathering path based on comprehensive rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables LLMs to autonomously develop interaction strategies aligned with clinical reasoning logic, rather than superficially imitating patterns in existing dialogue data. Notably, we constructed MTMedDialog, the first English multi-turn medical consultation dataset capable of simulating patient interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing models in both multi-turn reasoning capability and final diagnostic performance, demonstrating practical value in assisting clinical consultations. https://github.com/JarvisUSTC/DoctorAgent-RL