PatientSim: Ein Persona-gesteuerter Simulator für realistische Arzt-Patienten-Interaktionen

PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions

May 23, 2025

Autoren: Daeun Kyung, Hyunseung Chung, Seongsu Bae, Jiho Kim, Jae Ho Sohn, Taerim Kim, Soo Kyung Kim, Edward Choi

cs.AI

Zusammenfassung

Arzt-Patienten-Konsultationen erfordern eine mehrstufige, kontextbewusste Kommunikation, die auf verschiedene Patiententypen zugeschnitten ist. Die Schulung oder Bewertung von Arzt-LLMs in solchen Settings erfordert realistische Patientensimulationssysteme. Bisherige Simulatoren bilden jedoch oft nicht die gesamte Bandbreite der in der klinischen Praxis vorkommenden Patiententypen ab. Um dies zu beheben, stellen wir PatientSim vor, einen Patientensimulator, der realistische und vielfältige Patiententypen für klinische Szenarien generiert, basierend auf medizinischem Fachwissen. PatientSim arbeitet mit: 1) klinischen Profilen, einschließlich Symptomen und Krankengeschichte, die aus realen Daten der MIMIC-ED- und MIMIC-IV-Datensätze abgeleitet werden, und 2) Patiententypen, die durch vier Achsen definiert sind: Persönlichkeit, Sprachkenntnisse, Erinnerungsvermögen an die Krankengeschichte und kognitive Verwirrtheit, was zu 37 einzigartigen Kombinationen führt. Wir bewerteten acht LLMs hinsichtlich faktischer Genauigkeit und Konsistenz der Patiententypen. Das beste Open-Source-Modell, Llama 3.3, wurde von vier Klinikern validiert, um die Robustheit unseres Frameworks zu bestätigen. Als Open-Source-Plattform mit Anpassungsmöglichkeiten bietet PatientSim eine reproduzierbare und skalierbare Lösung, die für spezifische Schulungsbedürfnisse angepasst werden kann. Mit einem datenschutzkonformen Umfeld dient es als robuste Testumgebung für die Bewertung medizinischer Dialogsysteme bei verschiedenen Patientendarstellungen und zeigt Potenzial als Bildungswerkzeug im Gesundheitswesen.

English

Doctor-patient consultations require multi-turn, context-aware communication tailored to diverse patient personas. Training or evaluating doctor LLMs in such settings requires realistic patient interaction systems. However, existing simulators often fail to reflect the full range of personas seen in clinical practice. To address this, we introduce PatientSim, a patient simulator that generates realistic and diverse patient personas for clinical scenarios, grounded in medical expertise. PatientSim operates using: 1) clinical profiles, including symptoms and medical history, derived from real-world data in the MIMIC-ED and MIMIC-IV datasets, and 2) personas defined by four axes: personality, language proficiency, medical history recall level, and cognitive confusion level, resulting in 37 unique combinations. We evaluated eight LLMs for factual accuracy and persona consistency. The top-performing open-source model, Llama 3.3, was validated by four clinicians to confirm the robustness of our framework. As an open-source, customizable platform, PatientSim provides a reproducible and scalable solution that can be customized for specific training needs. Offering a privacy-compliant environment, it serves as a robust testbed for evaluating medical dialogue systems across diverse patient presentations and shows promise as an educational tool for healthcare.