Agenti Diagnostici in Evoluzione in un Ambiente Clinico Virtuale

Evolving Diagnostic Agents in a Virtual Clinical Environment

October 28, 2025

Autori: Pengcheng Qiu, Chaoyi Wu, Junwei Liu, Qiaoyu Zheng, Yusheng Liao, Haowen Wang, Yun Yue, Qianrui Fan, Shuai Zhen, Jian Wang, Jinjie Gu, Yanfeng Wang, Ya Zhang, Weidi Xie

cs.AI

Abstract

In questo articolo presentiamo un framework per l'addestramento di grandi modelli linguistici (LLM) come agenti diagnostici mediante apprendimento per rinforzo, consentendo loro di gestire processi diagnostici multi-turno, selezionare esami in modo adattivo e formulare diagnosi definitive. A differenza di modelli addestrati su istruzioni con riepiloghi statici di casi, il nostro metodo acquisisce strategie diagnostiche attraverso esplorazione interattiva e feedback basato sugli esiti. I nostri contributi sono quadrupli: (i) Presentiamo DiagGym, un modello del mondo diagnostico addestrato su cartelle cliniche elettroniche che emette esiti degli esami condizionati alla storia del paziente e all'esame raccomandato, fungendo da ambiente clinico virtuale per l'addestramento e la valutazione diagnostica realistica; (ii) Addestriamo DiagAgent tramite apprendimento per rinforzo end-to-end e multi-turno per apprendere politiche diagnostiche che ottimizzino sia la resa informativa che l'accuratezza diagnostica; (iii) Introduciamo DiagBench, un benchmark diagnostico comprendente 750 casi con raccomandazioni di esami validate da medici e 99 casi annotati con 973 rubriche scritte da medici sul processo diagnostico; (iv) Dimostriamo prestazioni superiori in diversi contesti diagnostici. DiagAgent supera significativamente 10 LLM all'avanguardia, inclusi DeepSeek-v3 e GPT-4o, oltre a due agenti con prompt engineering. In contesti single-turn, DiagAgent raggiunge un'accuratezza diagnostica superiore del 9,34% e un miglioramento del 44,03% nell'hit ratio delle raccomandazioni di esami. In contesti end-to-end, produce un aumento del 15,12% nell'accuratezza diagnostica e un incremento del 23,09% nell'F1-score delle raccomandazioni di esami. Nella valutazione basata su rubriche, supera il modello successivo per prestazioni, Claude-sonnet-4, del 7,1% nel punteggio ponderato delle rubriche. Questi risultati indicano che l'apprendimento di politiche in ambienti clinici interattivi conferisce capacità dinamiche e clinicamente significative di gestione diagnostica non ottenibili attraverso il solo addestramento passivo.

English

In this paper, we present a framework for training large language models (LLMs) as diagnostic agents with reinforcement learning, enabling them to manage multi-turn diagnostic processes, adaptively select examinations, and commit to final diagnoses. Unlike instruction-tuned models trained on static case summaries, our method acquires diagnostic strategies through interactive exploration and outcome-based feedback. Our contributions are fourfold: (i) We present DiagGym, a diagnostics world model trained with electronic health records that emits examination outcomes conditioned on patient history and recommended examination, serving as a virtual clinical environment for realistic diagnosis training and evaluation; (ii) We train DiagAgent via end-to-end, multi-turn reinforcement learning to learn diagnostic policies that optimize both information yield and diagnostic accuracy; (iii) We introduce DiagBench, a diagnostic benchmark comprising 750 cases with physician-validated examination recommendations and 99 cases annotated with 973 physician-written rubrics on diagnosis process; (iv) we demonstrate superior performance across diverse diagnostic settings. DiagAgent significantly outperforms 10 state-of-the-art LLMs, including DeepSeek-v3 and GPT-4o, as well as two prompt-engineered agents. In single-turn settings, DiagAgent achieves 9.34% higher diagnostic accuracy and 44.03% improvement in examination recommendation hit ratio. In end-to-end settings, it delivers 15.12% increase in diagnostic accuracy and 23.09% boost in examination recommendation F1 score. In rubric-based evaluation, it surpasses the next-best model, Claude-sonnet-4, by 7.1% in weighted rubric score. These findings indicate that learning policies in interactive clinical environments confers dynamic and clinically meaningful diagnostic management abilities unattainable through passive training alone.