DoctorAgent-RL: Um Sistema de Aprendizado por Reforço Colaborativo Multiagente para Diálogo Clínico de Múltiplos Turnos
DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue
May 26, 2025
Autores: Yichun Feng, Jiawei Wang, Lu Zhou, Yixue Li
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) têm demonstrado excelentes capacidades no campo de respostas a perguntas biomédicas, mas sua aplicação em consultas clínicas do mundo real ainda enfrenta desafios fundamentais. Os sistemas existentes dependem de um modo de transmissão de informação unidirecional, onde os pacientes devem descrever completamente seus sintomas em uma única rodada, levando a recomendações diagnósticas não específicas quando as queixas são vagas. Métodos tradicionais de diálogo multi-turn baseados em aprendizado supervisionado são limitados por paradigmas estáticos orientados por dados, carecendo de generalização e lutando para extrair inteligentemente informações clínicas-chave. Para abordar essas limitações, propomos o DoctorAgent-RL, uma estrutura colaborativa multi-agente baseada em aprendizado por reforço (RL) que modela consultas médicas como um processo dinâmico de tomada de decisão sob incerteza. O agente médico otimiza continuamente sua estratégia de questionamento dentro da estrutura RL por meio de interações multi-turn com o agente paciente, ajustando dinamicamente seu caminho de coleta de informações com base em recompensas abrangentes do Avaliador de Consulta. Esse mecanismo de ajuste fino por RL permite que os LLMs desenvolvam autonomamente estratégias de interação alinhadas com a lógica de raciocínio clínico, em vez de imitar superficialmente padrões em dados de diálogo existentes. Notavelmente, construímos o MTMedDialog, o primeiro conjunto de dados de consulta médica multi-turn em inglês capaz de simular interações com pacientes. Experimentos demonstram que o DoctorAgent-RL supera os modelos existentes tanto na capacidade de raciocínio multi-turn quanto no desempenho diagnóstico final, mostrando valor prático na assistência a consultas clínicas. https://github.com/JarvisUSTC/DoctorAgent-RL
English
Large language models (LLMs) have demonstrated excellent capabilities in the
field of biomedical question answering, but their application in real-world
clinical consultations still faces core challenges. Existing systems rely on a
one-way information transmission mode where patients must fully describe their
symptoms in a single round, leading to nonspecific diagnostic recommendations
when complaints are vague. Traditional multi-turn dialogue methods based on
supervised learning are constrained by static data-driven paradigms, lacking
generalizability and struggling to intelligently extract key clinical
information. To address these limitations, we propose DoctorAgent-RL, a
reinforcement learning (RL)-based multi-agent collaborative framework that
models medical consultations as a dynamic decision-making process under
uncertainty. The doctor agent continuously optimizes its questioning strategy
within the RL framework through multi-turn interactions with the patient agent,
dynamically adjusting its information-gathering path based on comprehensive
rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables
LLMs to autonomously develop interaction strategies aligned with clinical
reasoning logic, rather than superficially imitating patterns in existing
dialogue data. Notably, we constructed MTMedDialog, the first English
multi-turn medical consultation dataset capable of simulating patient
interactions. Experiments demonstrate that DoctorAgent-RL outperforms existing
models in both multi-turn reasoning capability and final diagnostic
performance, demonstrating practical value in assisting clinical consultations.
https://github.com/JarvisUSTC/DoctorAgent-RL