パーソナパラドックス：臨床言語モデルにおける行動事前分布としての医療ペルソナ

要旨

人物像条件付けは、大規模言語モデル（LLM）に対する行動的な事前分布と見なすことができ、専門性を付与し安全性を単調に向上させるとしばしば想定されている。しかし、その高リスクな臨床意思決定への影響は十分に解明されていない。我々は、臨床LLMにおける人物像ベースの制御を体系的に評価し、専門職役割（救急部門医師、看護師など）と相互作用スタイル（大胆 vs. 慎重）が、モデルや医療タスク間で行動にどのように影響するかを検証した。臨床トリアージと患者安全タスクにおける性能を、タスクの正確性、較正、安全性に関連するリスク行動を捕捉する多次元評価を用いて評価した。その結果、体系的で文脈依存的、かつ非単調な効果を明らかにした：医療人物像は集中治療タスクでは性能を向上させ（正確性と較正で最大+20%近い向上）、しかしプライマリケア設定では同程度の差で性能を低下させた。相互作用スタイルはリスク選好性と感度を調整するが、それはモデルに強く依存していた。集約されたLLM-judgeの評価ランキングは安全が重大なケースでは非医療人物像よりも医療人物像を好むが、ヒトの臨床医は安全性遵守に関して中程度の一致（平均コーエンκ=0.43）を示す一方、推論の質に関する回答の95.9%において自信が低いことを示した。我々の研究は、人物像が安全性や専門性の保証ではなく、文脈依存的なトレードオフを導入する行動事前分布として機能することを示している。コードはhttps://github.com/rsinghlab/Persona_Paradoxで利用可能である。

English

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to sim+20% in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's κ= 0.43) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

パーソナパラドックス：臨床言語モデルにおける行動事前分布としての医療ペルソナ

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

要旨

Support