페르소나 역설: 임상 언어 모델에서 행동 사전 정보로서의 의료 페르소나

초록

페르소나 조건화는 대규모 언어 모델(LLM)의 행동 사전 확률(prior)로 간주될 수 있으며, 일반적으로 단조롭게 전문성을 부여하고 안전성을 향상시킨다고 가정됩니다. 그러나 고위험 임상 의사결정에 미치는 영향은 아직 잘 규명되지 않았습니다. 본 연구에서는 임상 LLM에서 페르소나 기반 제어를 체계적으로 평가하며, 전문직 역할(예: 응급실 의사, 간호사)과 상호작용 스타일(대담함 vs. 신중함)이 모델 및 의료 과제에 따라 행동에 어떻게 영향을 미치는지 검토합니다. 임상 분류(triage) 및 환자 안전 과제에 대한 성능을 과제 정확도, 보정(calibration), 안전 관련 위험 행동을 포착하는 다차원 평가를 통해 측정합니다. 연구 결과, 체계적이고 상황에 따라 달라지며 비단조적인 효과가 발견되었습니다: 의료 페르소나는 중증 치료 과제에서 성능을 향상시켜 정확도와 보정에서 최대 약 +20%의 이득을 제공하지만, 일차 진료 환경에서는 비슷한 수준으로 성능을 저하시켰습니다. 상호작용 스타일은 위험 성향과 민감도를 조절하지만, 이는 모델에 크게 의존적입니다. 집계된 LLM-judge 순위는 안전이 중요한 경우 비의료 페르소나보다 의료 페르소나를 선호했지만, 인간 임상의들은 안전 준수에 대해 중간 수준의 일치도(평균 Cohen's κ=0.43)를 보였으나 추론 질문에 대한 응답의 95.9%에서 낮은 확신도를 나타냈습니다. 본 연구는 페르소나가 안전이나 전문성을 보장하기보다 상황에 따른 트레이드오프를 초래하는 행동 사전 확률로 기능함을 보여줍니다. 코드는 https://github.com/rsinghlab/Persona_Paradox에서 이용 가능합니다.

English

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to sim+20% in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's κ= 0.43) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

페르소나 역설: 임상 언어 모델에서 행동 사전 정보로서의 의료 페르소나

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

초록

Support