PatientSim: Un simulador basado en personajes para interacciones realistas entre médico y paciente

PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions

May 23, 2025

Autores: Daeun Kyung, Hyunseung Chung, Seongsu Bae, Jiho Kim, Jae Ho Sohn, Taerim Kim, Soo Kyung Kim, Edward Choi

cs.AI

Resumen

Las consultas médico-paciente requieren una comunicación de múltiples turnos y consciente del contexto, adaptada a diversas personalidades de pacientes. Entrenar o evaluar modelos de lenguaje (LLMs) médicos en estos escenarios requiere sistemas de interacción con pacientes realistas. Sin embargo, los simuladores existentes a menudo no reflejan la gama completa de personalidades observadas en la práctica clínica. Para abordar esto, presentamos PatientSim, un simulador de pacientes que genera personalidades realistas y diversas para escenarios clínicos, basado en experiencia médica. PatientSim opera utilizando: 1) perfiles clínicos, incluyendo síntomas e historial médico, derivados de datos del mundo real en los conjuntos MIMIC-ED y MIMIC-IV, y 2) personalidades definidas por cuatro ejes: personalidad, competencia lingüística, nivel de recuerdo del historial médico y nivel de confusión cognitiva, resultando en 37 combinaciones únicas. Evaluamos ocho LLMs en precisión factual y consistencia de personalidad. El modelo de código abierto con mejor rendimiento, Llama 3.3, fue validado por cuatro clínicos para confirmar la solidez de nuestro marco. Como una plataforma de código abierto y personalizable, PatientSim ofrece una solución reproducible y escalable que puede adaptarse a necesidades específicas de entrenamiento. Al proporcionar un entorno compatible con la privacidad, sirve como un banco de pruebas robusto para evaluar sistemas de diálogo médico en diversas presentaciones de pacientes y muestra potencial como herramienta educativa en el ámbito de la salud.

English

Doctor-patient consultations require multi-turn, context-aware communication tailored to diverse patient personas. Training or evaluating doctor LLMs in such settings requires realistic patient interaction systems. However, existing simulators often fail to reflect the full range of personas seen in clinical practice. To address this, we introduce PatientSim, a patient simulator that generates realistic and diverse patient personas for clinical scenarios, grounded in medical expertise. PatientSim operates using: 1) clinical profiles, including symptoms and medical history, derived from real-world data in the MIMIC-ED and MIMIC-IV datasets, and 2) personas defined by four axes: personality, language proficiency, medical history recall level, and cognitive confusion level, resulting in 37 unique combinations. We evaluated eight LLMs for factual accuracy and persona consistency. The top-performing open-source model, Llama 3.3, was validated by four clinicians to confirm the robustness of our framework. As an open-source, customizable platform, PatientSim provides a reproducible and scalable solution that can be customized for specific training needs. Offering a privacy-compliant environment, it serves as a robust testbed for evaluating medical dialogue systems across diverse patient presentations and shows promise as an educational tool for healthcare.