Medizinisches Weltmodell: Generative Simulation der Tumorentwicklung für die Behandlungsplanung

Zusammenfassung

Die Bereitstellung wirksamer Behandlungen und fundierte klinische Entscheidungen sind wesentliche Ziele der modernen Medizin und klinischen Versorgung. Wir interessieren uns für die Simulation von Krankheitsdynamiken zur Unterstützung klinischer Entscheidungsprozesse unter Nutzung der jüngsten Fortschritte bei großen generativen Modellen. Zu diesem Zweck stellen wir das Medical World Model (MeWM) vor, das erste Weltmodell in der Medizin, das zukünftige Krankheitszustände visuell auf der Grundlage klinischer Entscheidungen vorhersagt. MeWM besteht aus (i) Vision-Sprach-Modellen, die als Policy-Modelle dienen, und (ii) Tumor-generativen Modellen als Dynamikmodelle. Das Policy-Modell erstellt Aktionspläne, wie z.B. klinische Behandlungen, während das Dynamikmodell das Fortschreiten oder die Rückbildung von Tumoren unter gegebenen Behandlungsbedingungen simuliert. Darauf aufbauend schlagen wir das inverse Dynamikmodell vor, das Überlebensanalysen auf den simulierten post-therapeutischen Tumor anwendet, um die Wirksamkeit der Behandlung zu bewerten und den optimalen klinischen Aktionsplan auszuwählen. Infolgedessen simuliert das vorgeschlagene MeWM Krankheitsdynamiken durch die Synthese post-therapeutischer Tumore mit state-of-the-art Spezifität in Turing-Tests, die von Radiologen bewertet werden. Gleichzeitig übertrifft sein inverses Dynamikmodell medizinisch spezialisierte GPTs bei der Optimierung individueller Behandlungsprotokolle in allen Metriken. Bemerkenswerterweise verbessert MeWM die klinische Entscheidungsfindung für interventionelle Ärzte, indem es den F1-Score bei der Auswahl des optimalen TACE-Protokolls um 13 % steigert, und ebnet so den Weg für die zukünftige Integration medizinischer Weltmodelle als zweite Gutachter.

English

Providing effective treatment and making informed clinical decisions are essential goals of modern medicine and clinical care. We are interested in simulating disease dynamics for clinical decision-making, leveraging recent advances in large generative models. To this end, we introduce the Medical World Model (MeWM), the first world model in medicine that visually predicts future disease states based on clinical decisions. MeWM comprises (i) vision-language models to serve as policy models, and (ii) tumor generative models as dynamics models. The policy model generates action plans, such as clinical treatments, while the dynamics model simulates tumor progression or regression under given treatment conditions. Building on this, we propose the inverse dynamics model that applies survival analysis to the simulated post-treatment tumor, enabling the evaluation of treatment efficacy and the selection of the optimal clinical action plan. As a result, the proposed MeWM simulates disease dynamics by synthesizing post-treatment tumors, with state-of-the-art specificity in Turing tests evaluated by radiologists. Simultaneously, its inverse dynamics model outperforms medical-specialized GPTs in optimizing individualized treatment protocols across all metrics. Notably, MeWM improves clinical decision-making for interventional physicians, boosting F1-score in selecting the optimal TACE protocol by 13%, paving the way for future integration of medical world models as the second readers.

Medizinisches Weltmodell: Generative Simulation der Tumorentwicklung für die Behandlungsplanung

Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning

Zusammenfassung

Support