PatientSim: Een Persona-Gestuurde Simulator voor Realistische Arts-Patiënt Interacties

PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions

May 23, 2025

Auteurs: Daeun Kyung, Hyunseung Chung, Seongsu Bae, Jiho Kim, Jae Ho Sohn, Taerim Kim, Soo Kyung Kim, Edward Choi

cs.AI

Samenvatting

Arts-patiënt consultaties vereisen een meerzijdige, contextbewuste communicatie die is afgestemd op diverse patiëntpersona's. Het trainen of evalueren van arts-LLM's in dergelijke situaties vereist realistische patiëntinteractiesystemen. Echter, bestaande simulatoren slagen er vaak niet in het volledige scala aan persona's uit de klinische praktijk te weerspiegelen. Om dit aan te pakken, introduceren we PatientSim, een patiëntsimulator die realistische en diverse patiëntpersona's genereert voor klinische scenario's, gebaseerd op medische expertise. PatientSim werkt met: 1) klinische profielen, inclusief symptomen en medische geschiedenis, afgeleid uit real-world data in de MIMIC-ED en MIMIC-IV datasets, en 2) persona's gedefinieerd door vier assen: persoonlijkheid, taalvaardigheid, niveau van medische geschiedenisherinnering en niveau van cognitieve verwarring, wat resulteert in 37 unieke combinaties. We evalueerden acht LLM's op feitelijke nauwkeurigheid en persona-consistentie. Het best presterende open-source model, Llama 3.3, werd gevalideerd door vier clinici om de robuustheid van ons raamwerk te bevestigen. Als een open-source, aanpasbaar platform biedt PatientSim een reproduceerbare en schaalbare oplossing die kan worden aangepast aan specifieke trainingsbehoeften. Het biedt een privacy-compliant omgeving en fungeert als een robuust testbed voor het evalueren van medische dialoogsystemen bij diverse patiëntpresentaties en toont potentie als een educatief hulpmiddel voor de gezondheidszorg.

English

Doctor-patient consultations require multi-turn, context-aware communication tailored to diverse patient personas. Training or evaluating doctor LLMs in such settings requires realistic patient interaction systems. However, existing simulators often fail to reflect the full range of personas seen in clinical practice. To address this, we introduce PatientSim, a patient simulator that generates realistic and diverse patient personas for clinical scenarios, grounded in medical expertise. PatientSim operates using: 1) clinical profiles, including symptoms and medical history, derived from real-world data in the MIMIC-ED and MIMIC-IV datasets, and 2) personas defined by four axes: personality, language proficiency, medical history recall level, and cognitive confusion level, resulting in 37 unique combinations. We evaluated eight LLMs for factual accuracy and persona consistency. The top-performing open-source model, Llama 3.3, was validated by four clinicians to confirm the robustness of our framework. As an open-source, customizable platform, PatientSim provides a reproducible and scalable solution that can be customized for specific training needs. Offering a privacy-compliant environment, it serves as a robust testbed for evaluating medical dialogue systems across diverse patient presentations and shows promise as an educational tool for healthcare.