Medisch Wereldmodel: Generatieve Simulatie van Tumorontwikkeling voor Behandelingsplanning

Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning

June 2, 2025

Auteurs: Yijun Yang, Zhao-Yang Wang, Qiuping Liu, Shuwen Sun, Kang Wang, Rama Chellappa, Zongwei Zhou, Alan Yuille, Lei Zhu, Yu-Dong Zhang, Jieneng Chen

cs.AI

Samenvatting

Het bieden van effectieve behandelingen en het nemen van weloverwogen klinische beslissingen zijn essentiële doelstellingen van de moderne geneeskunde en klinische zorg. Wij zijn geïnteresseerd in het simuleren van ziekte dynamiek voor klinische besluitvorming, waarbij we gebruikmaken van recente vooruitgang in grote generatieve modellen. Hiertoe introduceren we het Medical World Model (MeWM), het eerste wereldmodel in de geneeskunde dat visueel toekomstige ziektebeelden voorspelt op basis van klinische beslissingen. MeWM bestaat uit (i) vision-language modellen die dienen als beleidsmodellen, en (ii) tumor generatieve modellen als dynamiekmodellen. Het beleidsmodel genereert actieplannen, zoals klinische behandelingen, terwijl het dynamiekmodel de progressie of regressie van tumoren simuleert onder gegeven behandelingsomstandigheden. Hierop voortbouwend stellen we het inverse dynamiekmodel voor, dat overlevingsanalyse toepast op de gesimuleerde post-behandelingstumor, waardoor de effectiviteit van de behandeling kan worden geëvalueerd en het optimale klinische actieplan kan worden geselecteerd. Als resultaat simuleert het voorgestelde MeWM ziekte dynamiek door het synthetiseren van post-behandelingstumoren, met state-of-the-art specificiteit in Turingtests die door radiologen worden geëvalueerd. Tegelijkertijd presteert het inverse dynamiekmodel beter dan medisch gespecialiseerde GPT's in het optimaliseren van geïndividualiseerde behandelprotocollen op alle metrieken. Opmerkelijk is dat MeWM de klinische besluitvorming voor interventionele artsen verbetert, waardoor de F1-score bij het selecteren van het optimale TACE-protocol met 13% stijgt, en zo de weg vrijmaakt voor toekomstige integratie van medische wereldmodellen als tweede lezers.

English

Providing effective treatment and making informed clinical decisions are essential goals of modern medicine and clinical care. We are interested in simulating disease dynamics for clinical decision-making, leveraging recent advances in large generative models. To this end, we introduce the Medical World Model (MeWM), the first world model in medicine that visually predicts future disease states based on clinical decisions. MeWM comprises (i) vision-language models to serve as policy models, and (ii) tumor generative models as dynamics models. The policy model generates action plans, such as clinical treatments, while the dynamics model simulates tumor progression or regression under given treatment conditions. Building on this, we propose the inverse dynamics model that applies survival analysis to the simulated post-treatment tumor, enabling the evaluation of treatment efficacy and the selection of the optimal clinical action plan. As a result, the proposed MeWM simulates disease dynamics by synthesizing post-treatment tumors, with state-of-the-art specificity in Turing tests evaluated by radiologists. Simultaneously, its inverse dynamics model outperforms medical-specialized GPTs in optimizing individualized treatment protocols across all metrics. Notably, MeWM improves clinical decision-making for interventional physicians, boosting F1-score in selecting the optimal TACE protocol by 13%, paving the way for future integration of medical world models as the second readers.