RealWonder: Echtzeit-Videogenerierung auf Basis physischer Aktionen
RealWonder: Real-Time Physical Action-Conditioned Video Generation
March 5, 2026
Autoren: Wei Liu, Ziyu Chen, Zizhang Li, Yue Wang, Hong-Xing Yu, Jiajun Wu
cs.AI
Zusammenfassung
Aktuelle Videogenerierungsmodelle können physikalische Konsequenzen von 3D-Aktionen wie Kräfte und robotische Manipulationen nicht simulieren, da ihnen das strukturelle Verständnis dafür fehlt, wie Aktionen 3D-Szenen beeinflussen. Wir stellen RealWonder vor, das erste Echtzeitsystem zur aktionsbedingten Videogenerierung aus einem einzelnen Bild. Unser zentraler Ansatz ist die Nutzung von Physiksimulation als Zwischenbrücke: Anstatt kontinuierliche Aktionen direkt zu encodieren, übersetzen wir sie durch Physiksimulation in visuelle Repräsentationen (optischen Fluss und RGB), die Videomodelle verarbeiten können. RealWonder integriert drei Komponenten: 3D-Rekonstruktion aus Einzelbildern, Physiksimulation und einen destillierten Videogenerator, der nur 4 Diffusionsschritte benötigt. Unser System erreicht 13,2 FPS bei 480x832 Auflösung und ermöglicht die interaktive Erforschung von Kräften, Roboteraktionen und Kamerasteuerungen an starren Objekten, deformierbaren Körpern, Flüssigkeiten und granularen Materialien. Wir sehen in RealWonder neue Möglichkeiten, Videomodelle in immersiven Erfahrungen, AR/VR und Robotik-Lernen einzusetzen. Unser Code und unsere Modellgewichte sind auf unserer Projektwebseite öffentlich verfügbar: https://liuwei283.github.io/RealWonder/
English
Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/