Генерация видео с физическим симулятором в контуре управления

Physical Simulator In-the-Loop Video Generation

March 6, 2026

Авторы: Lin Geng Foo, Mark He Huang, Alexandros Lattas, Stylianos Moschoglou, Thabo Beeler, Christian Theobalt

cs.AI

Аннотация

Недавние достижения в области диффузионной генерации видео позволили достичь впечатляющего визуального реализма, однако системы по-прежнему слабо подчиняются фундаментальным физическим законам, таким как гравитация, инерция и столкновения. Сгенерированные объекты часто движутся непоследовательно между кадрами, демонстрируют неправдоподобную динамику или нарушают физические ограничения, что снижает реалистичность и надежность видео, создаваемых искусственным интеллектом. Мы устраняем этот пробел, представляя Physical Simulator In-the-loop Video Generation (PSIVG) — новую архитектуру, интегрирующую физический симулятор в процесс диффузионного生成视频. Начиная с видео-шаблона, созданного предварительно обученной диффузионной моделью, PSIVG восстанавливает 4D-сцену и меши объектов переднего плана, инициализирует их в физическом симуляторе и генерирует физически согласованные траектории. Эти смоделированные траектории затем используются для направления видео-генератора к пространственно-временной физической согласованности движения. Для дополнительного улучшения консистентности текстур при перемещении объектов мы предлагаем технику Test-Time Texture Consistency Optimization (TTCO), которая адаптирует текстовые и feature-эмбеддинги на основе пиксельных соответствий из симулятора. Комплексные эксперименты демонстрируют, что PSIVG создает видео, в большей степени соответствующие законам реального мира, при сохранении визуального качества и разнообразия. Страница проекта: https://vcai.mpi-inf.mpg.de/projects/PSIVG/

English

Recent advances in diffusion-based video generation have achieved remarkable visual realism but still struggle to obey basic physical laws such as gravity, inertia, and collision. Generated objects often move inconsistently across frames, exhibit implausible dynamics, or violate physical constraints, limiting the realism and reliability of AI-generated videos. We address this gap by introducing Physical Simulator In-the-loop Video Generation (PSIVG), a novel framework that integrates a physical simulator into the video diffusion process. Starting from a template video generated by a pre-trained diffusion model, PSIVG reconstructs the 4D scene and foreground object meshes, initializes them within a physical simulator, and generates physically consistent trajectories. These simulated trajectories are then used to guide the video generator toward spatio-temporally physically coherent motion. To further improve texture consistency during object movement, we propose a Test-Time Texture Consistency Optimization (TTCO) technique that adapts text and feature embeddings based on pixel correspondences from the simulator. Comprehensive experiments demonstrate that PSIVG produces videos that better adhere to real-world physics while preserving visual quality and diversity. Project Page: https://vcai.mpi-inf.mpg.de/projects/PSIVG/