RealWonder: Real-Time Fysieke Actie-Gestuurde Videogeneratie
RealWonder: Real-Time Physical Action-Conditioned Video Generation
March 5, 2026
Auteurs: Wei Liu, Ziyu Chen, Zizhang Li, Yue Wang, Hong-Xing Yu, Jiajun Wu
cs.AI
Samenvatting
Huidige videogeneratiemodellen kunnen fysieke gevolgen van 3D-handelingen zoals krachten en robotmanipulaties niet simuleren, omdat ze een structureel begrip ontberen van hoe handelingen 3D-scènes beïnvloeden. Wij presenteren RealWonder, het eerste real-time systeem voor actiegeconditioneerde videogeneratie vanuit een enkele afbeelding. Onze belangrijkste inzicht is het gebruik van fysicasimulatie als een tussenliggende brug: in plaats van continue handelingen direct te coderen, vertalen we deze via fysicasimulatie naar visuele representaties (optische stroom en RGB) die videomodellen kunnen verwerken. RealWonder integreert drie componenten: 3D-reconstructie vanuit enkele afbeeldingen, fysicasimulatie en een gedistilleerde videogenerator die slechts 4 diffusiestappen vereist. Ons systeem behaalt 13.2 FPS bij 480x832 resolutie, wat interactieve exploratie mogelijk maakt van krachten, robotacties en camerabesturing op rigide objecten, vervormbare lichamen, vloeistoffen en korrelmaterialen. Wij voorzien dat RealWonder nieuwe mogelijkheden opent om videomodellen toe te passen in immersieve ervaringen, AR/VR en robotleren. Onze code en modelgewichten zijn openbaar beschikbaar op onze projectwebsite: https://liuwei283.github.io/RealWonder/
English
Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/