Le Paradoxe du Persona : Les Personas Médicaux comme A Priori Comportementaux dans les Modèles de Langage Clinique

papers.abstract

La personnalisation conditionnée peut être considérée comme un a priori comportemental pour les grands modèles de langage (LLM) et est souvent supposée conférer une expertise et améliorer la sécurité de manière monotone. Cependant, ses effets sur la prise de décision clinique à haut risque restent mal caractérisés. Nous évaluons systématiquement le contrôle par personnalisation dans les LLM cliniques, en examinant comment les rôles professionnels (médecin des urgences, infirmier) et les styles d'interaction (audacieux vs. prudent) influencent le comportement à travers les modèles et les tâches médicales. Nous évaluons la performance sur des tâches de triage clinique et de sécurité des patients à l'aide d'évaluations multidimensionnelles qui capturent la précision de la tâche, l'étalonnage et les comportements à risque liés à la sécurité. Nous constatons des effets systématiques, contextuels et non monotones : les personnalisations médicales améliorent les performances dans les tâches de soins critiques, avec des gains allant jusqu'à ∼+20 % en précision et en étalonnage, mais dégradent les performances en soins primaires par des marges comparables. Le style d'interaction module la propension au risque et la sensibilité, mais cela dépend fortement du modèle. Bien que les classements agrégés par des LLM juges favorisent les personnalisations médicales face aux non médicales dans les cas critiques pour la sécurité, nous avons constaté que les cliniciens humains montrent un accord modéré sur la conformité sécuritaire (κ de Cohen moyen = 0,43) mais indiquent une faible confiance dans 95,9 % de leurs réponses concernant la qualité du raisonnement. Notre travail montre que les personnalisations fonctionnent comme des a priori comportementaux qui introduisent des compromis contextuels plutôt que des garanties de sécurité ou d'expertise. Le code est disponible à l'adresse https://github.com/rsinghlab/Persona_Paradox.

English

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to sim+20% in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's κ= 0.43) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

Le Paradoxe du Persona : Les Personas Médicaux comme A Priori Comportementaux dans les Modèles de Langage Clinique

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

papers.abstract

Support