RealWonder: Генерация видео в реальном времени на основе физических действий
RealWonder: Real-Time Physical Action-Conditioned Video Generation
March 5, 2026
Авторы: Wei Liu, Ziyu Chen, Zizhang Li, Yue Wang, Hong-Xing Yu, Jiajun Wu
cs.AI
Аннотация
Современные модели генерации видео не способны моделировать физические последствия 3D-действий, такие как силовые воздействия и манипуляции роботов, поскольку им не хватает структурного понимания того, как действия влияют на трехмерные сцены. Мы представляем RealWonder — первую систему в реальном времени для генерации видео по действиям на основе одного изображения. Наше ключевое нововведение заключается в использовании физического моделирования в качестве промежуточного звена: вместо прямого кодирования непрерывных действий мы преобразуем их через физическую симуляцию в визуальные представления (оптические потоки и RGB), которые видеомодели могут обрабатывать. RealWonder интегрирует три компонента: 3D-реконструкцию из одиночных изображений, физическое моделирование и дистиллированный генератор видео, требующий всего 4 шага диффузии. Наша система достигает скорости 13.2 кадра в секунду при разрешении 480x832, обеспечивая интерактивное исследование силовых воздействий, действий роботов и управления камерой для твердых объектов, деформируемых тел, жидкостей и сыпучих материалов. Мы предполагаем, что RealWonder открывает новые возможности для применения видеомоделей в immersive-опыте, AR/VR и обучении роботов. Наш код и веса моделей общедоступны на странице проекта: https://liuwei283.github.io/RealWonder/
English
Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/