К физически согласованным моделям мира для вождения в условиях сложных траекторий

Toward Physically Consistent Driving Video World Models under Challenging Trajectories

March 25, 2026

Авторы: Jiawei Zhou, Zhenxin Zhu, Lingyi Du, Linye Lyu, Lijun Zhou, Zhanqian Wu, Hongcheng Luo, Zhuotao Tian, Bing Wang, Guang Chen, Hangjun Ye, Haiyang Sun, Yu Li

cs.AI

Аннотация

Модели генерации видео продемонстрировали значительный потенциал в качестве моделей мира для симуляции автономного вождения. Однако существующие подходы в основном обучаются на реальных дорожных наборах данных, которые преимущественно содержат естественные и безопасные сценарии вождения. Как следствие, современные модели часто дают сбои при обработке сложных или контрфактических траекторий — например, неидеальных траекторий, сгенерированных симуляторами или системами планирования, — производя видео с серьёзными физическими несоответствиями и артефактами. Для преодоления этого ограничения мы предлагаем PhyGenesis — модель мира, предназначенную для генерации видео вождения с высокой визуальной достоверностью и строгой физической согласованностью. Наша архитектура включает два ключевых компонента: (1) генератор физических условий, преобразующий потенциально некорректные входные траектории в физически правдоподобные условия, и (2) усовершенствованный генератор видео, создающий высококачественные многовидовые видео вождения в этих условиях. Для эффективного обучения этих компонентов мы создали крупномасштабный гетерогенный набор данных, обогащённый физическими аспектами. В частности, помимо реальных видео вождения, мы генерируем разнообразные сложные дорожные сценарии с помощью симулятора CARLA, из которых извлекаются сигналы обучения, направляющие модель на освоение физически обоснованной динамики в экстремальных условиях. Данная стратегия обучения на сложных траекториях позволяет корректировать траектории и способствует генерации физически согласованного видео. Многочисленные эксперименты демонстрируют, что PhyGenesis стабильно превосходит современные методы, особенно на сложных траекториях. Страница проекта доступна по адресу: https://wm-research.github.io/PhyGenesis/.

English

Video generation models have shown strong potential as world models for autonomous driving simulation. However, existing approaches are primarily trained on real-world driving datasets, which mostly contain natural and safe driving scenarios. As a result, current models often fail when conditioned on challenging or counterfactual trajectories-such as imperfect trajectories generated by simulators or planning systems-producing videos with severe physical inconsistencies and artifacts. To address this limitation, we propose PhyGenesis, a world model designed to generate driving videos with high visual fidelity and strong physical consistency. Our framework consists of two key components: (1) a physical condition generator that transforms potentially invalid trajectory inputs into physically plausible conditions, and (2) a physics-enhanced video generator that produces high-fidelity multi-view driving videos under these conditions. To effectively train these components, we construct a large-scale, physics-rich heterogeneous dataset. Specifically, in addition to real-world driving videos, we generate diverse challenging driving scenarios using the CARLA simulator, from which we derive supervision signals that guide the model to learn physically grounded dynamics under extreme conditions. This challenging-trajectory learning strategy enables trajectory correction and promotes physically consistent video generation. Extensive experiments demonstrate that PhyGenesis consistently outperforms state-of-the-art methods, especially on challenging trajectories. Our project page is available at: https://wm-research.github.io/PhyGenesis/.