O Paradoxo da Persona: Personas Médicas como Priors Comportamentais em Modelos de Linguagem Clínica

Resumo

A condicionamento de persona pode ser visto como um *prior* comportamental para modelos de linguagem grandes (LLMs) e frequentemente assume-se que confere expertise e melhora a segurança de forma monotônica. No entanto, os seus efeitos na tomada de decisões clínicas de alto risco permanecem pouco caracterizados. Nós avaliamos sistematicamente o controle baseado em persona em LLMs clínicos, examinando como funções profissionais (por exemplo, médico do Departamento de Emergência, enfermeiro) e estilos de interação (ousado vs. cauteloso) influenciam o comportamento entre modelos e tarefas médicas. Avaliamos o desempenho em tarefas de triagem clínica e de segurança do paciente usando avaliações multidimensionais que capturam a precisão da tarefa, calibração e comportamento de risco relevante para a segurança. Encontramos efeitos sistemáticos, dependentes do contexto e não monotônicos: Personas médicas melhoram o desempenho em tarefas de cuidados críticos, resultando em ganhos de até ~+20% em precisão e calibração, mas degradam o desempenho em contextos de cuidados primários por margens comparáveis. O estilo de interação modula a propensão e a sensibilidade ao risco, mas é altamente dependente do modelo. Embora as classificações agregadas do juiz-LLM favoreçam personas médicas em vez de não médicas em casos críticos de segurança, descobrimos que clínicos humanos mostram concordância moderada na conformidade de segurança (κ de Cohen médio = 0,43), mas indicam baixa confiança em 95,9% das suas respostas sobre a qualidade do raciocínio. O nosso trabalho mostra que as personas funcionam como *priors* comportamentais que introduzem trade-offs dependentes do contexto, em vez de garantias de segurança ou expertise. O código está disponível em https://github.com/rsinghlab/Persona\_Paradox.

English

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to sim+20% in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's κ= 0.43) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

O Paradoxo da Persona: Personas Médicas como Priors Comportamentais em Modelos de Linguagem Clínica

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

Resumo

Support