Évolution d'Agents Diagnostiques dans un Environnement Clinique Virtuel

papers.abstract

Dans cet article, nous présentons un cadre pour entraîner de grands modèles de langage (LLM) en tant qu'agents diagnostiques par apprentissage par renforcement, leur permettant de gérer des processus diagnostiques multi-tours, de sélectionner de manière adaptative les examens et d'établir des diagnostics finaux. Contrairement aux modèles ajustés par instruction sur des résumés de cas statiques, notre méthode acquiert des stratégies diagnostiques par une exploration interactive et un retour d'information basé sur les résultats. Nos contributions sont quadruples : (i) Nous présentons DiagGym, un modèle de monde diagnostique entraîné sur des dossiers médicaux électroniques qui émet des résultats d'examen conditionnés par les antécédents du patient et l'examen recommandé, servant d'environnement clinique virtuel pour un entraînement et une évaluation diagnostiques réalistes ; (ii) Nous entraînons DiagAgent via un apprentissage par renforcement multi-tours de bout en bout pour apprendre des politiques diagnostiques qui optimisent à la fois le rendement informationnel et la précision diagnostique ; (iii) Nous introduisons DiagBench, un benchmark diagnostique comprenant 750 cas avec des recommandations d'examen validées par des médecins et 99 cas annotés avec 973 grilles d'évaluation rédigées par des médecins sur le processus diagnostique ; (iv) Nous démontrons une performance supérieure dans divers contextes diagnostiques. DiagAgent surpasse significativement 10 LLM de pointe, dont DeepSeek-v3 et GPT-4o, ainsi que deux agents conçus par ingénierie de prompt. Dans des configurations à tour unique, DiagAgent atteint une précision diagnostique supérieure de 9,34 % et une amélioration de 44,03 % du taux de réussite des recommandations d'examen. Dans des configurations de bout en bout, il offre une augmentation de 15,12 % de la précision diagnostique et une amélioration de 23,09 % du score F1 des recommandations d'examen. Dans l'évaluation par grille, il dépasse le modèle suivant le meilleur, Claude-sonnet-4, de 7,1 % en score de grille pondéré. Ces résultats indiquent que l'apprentissage de politiques dans des environnements cliniques interactifs confère des capacités dynamiques et cliniquement significatives de gestion diagnostique, inaccessibles par un entraînement passif seul.

English

In this paper, we present a framework for training large language models (LLMs) as diagnostic agents with reinforcement learning, enabling them to manage multi-turn diagnostic processes, adaptively select examinations, and commit to final diagnoses. Unlike instruction-tuned models trained on static case summaries, our method acquires diagnostic strategies through interactive exploration and outcome-based feedback. Our contributions are fourfold: (i) We present DiagGym, a diagnostics world model trained with electronic health records that emits examination outcomes conditioned on patient history and recommended examination, serving as a virtual clinical environment for realistic diagnosis training and evaluation; (ii) We train DiagAgent via end-to-end, multi-turn reinforcement learning to learn diagnostic policies that optimize both information yield and diagnostic accuracy; (iii) We introduce DiagBench, a diagnostic benchmark comprising 750 cases with physician-validated examination recommendations and 99 cases annotated with 973 physician-written rubrics on diagnosis process; (iv) we demonstrate superior performance across diverse diagnostic settings. DiagAgent significantly outperforms 10 state-of-the-art LLMs, including DeepSeek-v3 and GPT-4o, as well as two prompt-engineered agents. In single-turn settings, DiagAgent achieves 9.34% higher diagnostic accuracy and 44.03% improvement in examination recommendation hit ratio. In end-to-end settings, it delivers 15.12% increase in diagnostic accuracy and 23.09% boost in examination recommendation F1 score. In rubric-based evaluation, it surpasses the next-best model, Claude-sonnet-4, by 7.1% in weighted rubric score. These findings indicate that learning policies in interactive clinical environments confers dynamic and clinically meaningful diagnostic management abilities unattainable through passive training alone.

Évolution d'Agents Diagnostiques dans un Environnement Clinique Virtuel

Evolving Diagnostic Agents in a Virtual Clinical Environment

papers.abstract

Support