PatientSim: Un Simulatore Basato su Personas per Interazioni Realistiche Medico-Paziente
PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions
May 23, 2025
Autori: Daeun Kyung, Hyunseung Chung, Seongsu Bae, Jiho Kim, Jae Ho Sohn, Taerim Kim, Soo Kyung Kim, Edward Choi
cs.AI
Abstract
Le consultazioni medico-paziente richiedono una comunicazione multi-turn e contestuale, adattata a diverse tipologie di pazienti. L'addestramento o la valutazione di modelli linguistici (LLM) medici in tali contesti necessita di sistemi di interazione con pazienti realistici. Tuttavia, i simulatori esistenti spesso non riescono a riflettere l'intera gamma di profili osservati nella pratica clinica. Per affrontare questa problematica, introduciamo PatientSim, un simulatore di pazienti che genera profili realistici e diversificati per scenari clinici, basati su competenze mediche. PatientSim opera utilizzando: 1) profili clinici, inclusi sintomi e anamnesi, derivati da dati reali dei dataset MIMIC-ED e MIMIC-IV, e 2) profili definiti da quattro assi: personalità, competenza linguistica, livello di ricordo della storia medica e livello di confusione cognitiva, risultando in 37 combinazioni uniche. Abbiamo valutato otto LLM per accuratezza fattuale e coerenza del profilo. Il modello open-source con le migliori prestazioni, Llama 3.3, è stato validato da quattro clinici per confermare la robustezza del nostro framework. Come piattaforma open-source e personalizzabile, PatientSim offre una soluzione riproducibile e scalabile che può essere adattata a specifiche esigenze formative. Fornendo un ambiente conforme alla privacy, si configura come un solido banco di prova per valutare sistemi di dialogo medico in diverse presentazioni di pazienti e si dimostra promettente come strumento educativo per il settore sanitario.
English
Doctor-patient consultations require multi-turn, context-aware communication
tailored to diverse patient personas. Training or evaluating doctor LLMs in
such settings requires realistic patient interaction systems. However, existing
simulators often fail to reflect the full range of personas seen in clinical
practice. To address this, we introduce PatientSim, a patient simulator that
generates realistic and diverse patient personas for clinical scenarios,
grounded in medical expertise. PatientSim operates using: 1) clinical profiles,
including symptoms and medical history, derived from real-world data in the
MIMIC-ED and MIMIC-IV datasets, and 2) personas defined by four axes:
personality, language proficiency, medical history recall level, and cognitive
confusion level, resulting in 37 unique combinations. We evaluated eight LLMs
for factual accuracy and persona consistency. The top-performing open-source
model, Llama 3.3, was validated by four clinicians to confirm the robustness of
our framework. As an open-source, customizable platform, PatientSim provides a
reproducible and scalable solution that can be customized for specific training
needs. Offering a privacy-compliant environment, it serves as a robust testbed
for evaluating medical dialogue systems across diverse patient presentations
and shows promise as an educational tool for healthcare.