Het Persona-paradox: Medische persona's als gedragsmatige priorverdelingen in klinische taalmodellen
The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models
January 8, 2026
Auteurs: Tassallah Abdullahi, Shrestha Ghosh, Hamish S Fraser, Daniel León Tramontini, Adeel Abbasi, Ghada Bourjeily, Carsten Eickhoff, Ritambhara Singh
cs.AI
Samenvatting
Personaconditionering kan worden beschouwd als een gedragsprior voor grote taalmodellen (LLM's) en wordt vaak verondersteld op een monotone wijze expertise te verlenen en de veiligheid te verbeteren. De effecten ervan op klinische besluitvorming met grote gevolgen blijven echter slecht gekarakteriseerd. Wij evalueren systematisch persona-gebaseerde controle in klinische LLM's en onderzoeken hoe professionele rollen (bijvoorbeeld arts op de Spoedeisende Hulp, verpleegkundige) en interactiestijlen (gedurfd versus voorzichtig) het gedrag beïnvloeden bij verschillende modellen en medische taken. We beoordelen de prestaties bij klinische triage- en patiëntveiligheidstaken met behulp van multidimensionale evaluaties die taaknauwkeurigheid, calibratie en veiligheidsgerelateerd risicogedrag vastleggen. We vinden systematische, contextafhankelijke en niet-monotone effecten: medische persona's verbeteren de prestaties bij kritieke zorgtaken, met winsten tot circa +20% in nauwkeurigheid en calibratie, maar verslechteren de prestaties in eerstelijnszorgsettings met vergelijkbare marges. Interactiestijl moduleert risicobereidheid en gevoeligheid, maar dit is sterk modelafhankelijk. Hoewel geaggregeerde LLM-beoordelaarsrangschikkingen medische persona's verkiezen boven niet-medische in veiligheidskritieke gevallen, vonden we dat menselijke clinici matige overeenstemming vertonen over veiligheidsnaleving (gemiddelde Cohen's κ = 0,43), maar een laag vertrouwen aangeven in 95,9% van hun antwoorden over redeneerkwaliteit. Ons werk toont aan dat persona's functioneren als gedragspriors die contextafhankelijke afwegingen introduceren in plaats van garanties voor veiligheid of expertise. De code is beschikbaar op https://github.com/rsinghlab/Persona_Paradox.
English
Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to sim+20% in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's κ= 0.43) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.