PatientSim: Um Simulador Baseado em Personas para Interações Realistas entre Médico e Paciente
PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions
May 23, 2025
Autores: Daeun Kyung, Hyunseung Chung, Seongsu Bae, Jiho Kim, Jae Ho Sohn, Taerim Kim, Soo Kyung Kim, Edward Choi
cs.AI
Resumo
Consultas médico-paciente exigem comunicação multi-turn e consciente do contexto, adaptada a diversas personas de pacientes. Treinar ou avaliar LLMs médicos nesses cenários requer sistemas de interação com pacientes realistas. No entanto, simuladores existentes frequentemente falham em refletir a ampla gama de personas observadas na prática clínica. Para abordar isso, introduzimos o PatientSim, um simulador de pacientes que gera personas realistas e diversas para cenários clínicos, fundamentado em expertise médica. O PatientSim opera utilizando: 1) perfis clínicos, incluindo sintomas e histórico médico, derivados de dados do mundo real dos conjuntos MIMIC-ED e MIMIC-IV, e 2) personas definidas por quatro eixos: personalidade, proficiência linguística, nível de recordação do histórico médico e nível de confusão cognitiva, resultando em 37 combinações únicas. Avaliamos oito LLMs quanto à precisão factual e consistência de persona. O modelo de código aberto com melhor desempenho, Llama 3.3, foi validado por quatro clínicos para confirmar a robustez de nossa estrutura. Como uma plataforma de código aberto e personalizável, o PatientSim oferece uma solução reproduzível e escalável que pode ser adaptada para necessidades específicas de treinamento. Proporcionando um ambiente em conformidade com a privacidade, ele serve como um testbed robusto para avaliar sistemas de diálogo médico em diversas apresentações de pacientes e mostra potencial como uma ferramenta educacional para a área da saúde.
English
Doctor-patient consultations require multi-turn, context-aware communication
tailored to diverse patient personas. Training or evaluating doctor LLMs in
such settings requires realistic patient interaction systems. However, existing
simulators often fail to reflect the full range of personas seen in clinical
practice. To address this, we introduce PatientSim, a patient simulator that
generates realistic and diverse patient personas for clinical scenarios,
grounded in medical expertise. PatientSim operates using: 1) clinical profiles,
including symptoms and medical history, derived from real-world data in the
MIMIC-ED and MIMIC-IV datasets, and 2) personas defined by four axes:
personality, language proficiency, medical history recall level, and cognitive
confusion level, resulting in 37 unique combinations. We evaluated eight LLMs
for factual accuracy and persona consistency. The top-performing open-source
model, Llama 3.3, was validated by four clinicians to confirm the robustness of
our framework. As an open-source, customizable platform, PatientSim provides a
reproducible and scalable solution that can be customized for specific training
needs. Offering a privacy-compliant environment, it serves as a robust testbed
for evaluating medical dialogue systems across diverse patient presentations
and shows promise as an educational tool for healthcare.