DoctorAgent-RL: Un Sistema di Apprendimento per Rinforzo Collaborativo Multi-Agente per Dialoghi Clinici Multi-Turn
DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue
May 26, 2025
Autori: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato eccellenti capacità nel campo del rispondere a domande biomediche, ma la loro applicazione nelle consultazioni cliniche reali affronta ancora sfide fondamentali. I sistemi esistenti si basano su una modalità di trasmissione unidirezionale delle informazioni in cui i pazienti devono descrivere completamente i loro sintomi in un unico turno, portando a raccomandazioni diagnostiche non specifiche quando i reclami sono vaghi. I metodi tradizionali di dialogo multi-turn basati sull'apprendimento supervisionato sono limitati da paradigmi statici guidati dai dati, mancando di generalizzabilità e faticando a estrarre in modo intelligente le informazioni cliniche chiave. Per affrontare queste limitazioni, proponiamo DoctorAgent-RL, un framework collaborativo multi-agente basato sull'apprendimento per rinforzo (RL) che modella le consultazioni mediche come un processo decisionale dinamico in condizioni di incertezza. L'agente medico ottimizza continuamente la sua strategia di interrogazione all'interno del framework RL attraverso interazioni multi-turn con l'agente paziente, adattando dinamicamente il suo percorso di raccolta delle informazioni basandosi sulle ricompense complete del Valutatore della Consultazione. Questo meccanismo di fine-tuning RL consente agli LLM di sviluppare autonomamente strategie di interazione allineate con la logica del ragionamento clinico, piuttosto che imitare superficialmente i modelli nei dati di dialogo esistenti. In particolare, abbiamo costruito MTMedDialog, il primo dataset inglese di consultazione medica multi-turn in grado di simulare interazioni con i pazienti. Gli esperimenti dimostrano che DoctorAgent-RL supera i modelli esistenti sia nella capacità di ragionamento multi-turn che nelle prestazioni diagnostiche finali, dimostrando un valore pratico nell'assistenza alle consultazioni cliniche. https://github.com/JarvisUSTC/DoctorAgent-RL
English
Large language models (LLMs) have demonstrated excellent capabilities in the
field of biomedical question answering, but their application in real-world
clinical consultations still faces core challenges. Existing systems rely on a
one-way information transmission mode where patients must fully describe their
symptoms in a single round, leading to nonspecific diagnostic recommendations
when complaints are vague. Traditional multi-turn dialogue methods based on
supervised learning are constrained by static data-driven paradigms, lacking
generalizability and struggling to intelligently extract key clinical
information. To address these limitations, we propose DoctorAgent-RL, a
reinforcement learning (RL)-based multi-agent collaborative framework that
models medical consultations as a dynamic decision-making process under
uncertainty. The doctor agent continuously optimizes its questioning strategy
within the RL framework through multi-turn interactions with the patient agent,
dynamically adjusting its information-gathering path based on comprehensive
rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables
LLMs to autonomously develop interaction strategies aligned with clinical
reasoning logic, rather than superficially imitating patterns in existing
dialogue data. Notably, we constructed MTMedDialog, the first English
multi-turn medical consultation dataset capable of simulating patient
interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing
models in both multi-turn reasoning capability and final diagnostic
performance, demonstrating practical value in assisting clinical consultations.
https://github.com/JarvisUSTC/DoctorAgent-RL