DoctorAgent-RL: Un Sistema de Aprendizaje por Refuerzo Colaborativo Multiagente para Diálogos Clínicos de Múltiples Turnos
DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue
May 26, 2025
Autores: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades excepcionales en el campo de la respuesta a preguntas biomédicas, pero su aplicación en consultas clínicas del mundo real aún enfrenta desafíos fundamentales. Los sistemas existentes dependen de un modo de transmisión de información unidireccional, donde los pacientes deben describir completamente sus síntomas en una sola ronda, lo que lleva a recomendaciones diagnósticas poco específicas cuando las quejas son vagas. Los métodos tradicionales de diálogo multiturno basados en aprendizaje supervisado están limitados por paradigmas estáticos basados en datos, careciendo de generalización y luchando por extraer inteligentemente información clínica clave. Para abordar estas limitaciones, proponemos DoctorAgent-RL, un marco colaborativo multiagente basado en aprendizaje por refuerzo (RL, por sus siglas en inglés) que modela las consultas médicas como un proceso dinámico de toma de decisiones bajo incertidumbre. El agente médico optimiza continuamente su estrategia de preguntas dentro del marco de RL a través de interacciones multiturno con el agente paciente, ajustando dinámicamente su ruta de recopilación de información basándose en recompensas integrales del Evaluador de Consultas. Este mecanismo de ajuste fino mediante RL permite que los LLMs desarrollen autónomamente estrategias de interacción alineadas con la lógica del razonamiento clínico, en lugar de imitar superficialmente patrones en datos de diálogo existentes. Cabe destacar que construimos MTMedDialog, el primer conjunto de datos de consultas médicas multiturno en inglés capaz de simular interacciones con pacientes. Los experimentos demuestran que DoctorAgent-RL supera a los modelos existentes tanto en capacidad de razonamiento multiturno como en rendimiento diagnóstico final, demostrando un valor práctico en la asistencia de consultas clínicas. https://github.com/JarvisUSTC/DoctorAgent-RL
English
Large language models (LLMs) have demonstrated excellent capabilities in the
field of biomedical question answering, but their application in real-world
clinical consultations still faces core challenges. Existing systems rely on a
one-way information transmission mode where patients must fully describe their
symptoms in a single round, leading to nonspecific diagnostic recommendations
when complaints are vague. Traditional multi-turn dialogue methods based on
supervised learning are constrained by static data-driven paradigms, lacking
generalizability and struggling to intelligently extract key clinical
information. To address these limitations, we propose DoctorAgent-RL, a
reinforcement learning (RL)-based multi-agent collaborative framework that
models medical consultations as a dynamic decision-making process under
uncertainty. The doctor agent continuously optimizes its questioning strategy
within the RL framework through multi-turn interactions with the patient agent,
dynamically adjusting its information-gathering path based on comprehensive
rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables
LLMs to autonomously develop interaction strategies aligned with clinical
reasoning logic, rather than superficially imitating patterns in existing
dialogue data. Notably, we constructed MTMedDialog, the first English
multi-turn medical consultation dataset capable of simulating patient
interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing
models in both multi-turn reasoning capability and final diagnostic
performance, demonstrating practical value in assisting clinical consultations.
https://github.com/JarvisUSTC/DoctorAgent-RLSummary
AI-Generated Summary