Медицинская Мировая Модель: Генеративное Моделирование Эволюции Опухоли для Планирования Лечения
Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning
June 2, 2025
Авторы: Yijun Yang, Zhao-Yang Wang, Qiuping Liu, Shuwen Sun, Kang Wang, Rama Chellappa, Zongwei Zhou, Alan Yuille, Lei Zhu, Yu-Dong Zhang, Jieneng Chen
cs.AI
Аннотация
Обеспечение эффективного лечения и принятие обоснованных клинических решений являются ключевыми задачами современной медицины и клинической практики. Мы стремимся моделировать динамику заболеваний для поддержки принятия клинических решений, используя последние достижения в области крупных генеративных моделей. С этой целью мы представляем Медицинскую Модель Мира (MeWM) — первую в медицине модель мира, которая визуально прогнозирует будущие состояния заболеваний на основе клинических решений. MeWM включает (i) модели, объединяющие зрение и язык, которые выступают в качестве моделей политик, и (ii) генеративные модели опухолей, выполняющие роль моделей динамики. Модель политик генерирует планы действий, такие как клинические методы лечения, в то время как модель динамики симулирует прогрессирование или регрессию опухоли при заданных условиях лечения. На основе этого мы предлагаем модель обратной динамики, которая применяет анализ выживаемости к симулированной опухоли после лечения, что позволяет оценивать эффективность терапии и выбирать оптимальный план клинических действий. В результате предложенная MeWM моделирует динамику заболеваний, синтезируя опухоли после лечения, с высочайшей специфичностью, подтвержденной тестами Тьюринга, оцененными радиологами. Одновременно ее модель обратной динамики превосходит специализированные медицинские GPT-модели в оптимизации индивидуализированных протоколов лечения по всем метрикам. Важно отметить, что MeWM улучшает принятие клинических решений для интервенционных врачей, повышая F1-меру при выборе оптимального протокола TACE на 13%, прокладывая путь для будущей интеграции медицинских моделей мира в качестве вторых экспертов.
English
Providing effective treatment and making informed clinical decisions are
essential goals of modern medicine and clinical care. We are interested in
simulating disease dynamics for clinical decision-making, leveraging recent
advances in large generative models. To this end, we introduce the Medical
World Model (MeWM), the first world model in medicine that visually predicts
future disease states based on clinical decisions. MeWM comprises (i)
vision-language models to serve as policy models, and (ii) tumor generative
models as dynamics models. The policy model generates action plans, such as
clinical treatments, while the dynamics model simulates tumor progression or
regression under given treatment conditions. Building on this, we propose the
inverse dynamics model that applies survival analysis to the simulated
post-treatment tumor, enabling the evaluation of treatment efficacy and the
selection of the optimal clinical action plan. As a result, the proposed MeWM
simulates disease dynamics by synthesizing post-treatment tumors, with
state-of-the-art specificity in Turing tests evaluated by radiologists.
Simultaneously, its inverse dynamics model outperforms medical-specialized GPTs
in optimizing individualized treatment protocols across all metrics. Notably,
MeWM improves clinical decision-making for interventional physicians, boosting
F1-score in selecting the optimal TACE protocol by 13%, paving the way for
future integration of medical world models as the second readers.