RealWonder: Generación de Vídeo en Tiempo Real Condicionada por Acciones Físicas
RealWonder: Real-Time Physical Action-Conditioned Video Generation
March 5, 2026
Autores: Wei Liu, Ziyu Chen, Zizhang Li, Yue Wang, Hong-Xing Yu, Jiajun Wu
cs.AI
Resumen
Los modelos actuales de generación de vídeo no pueden simular consecuencias físicas de acciones 3D como fuerzas o manipulaciones robóticas, ya que carecen de comprensión estructural sobre cómo las acciones afectan a escenas tridimensionales. Presentamos RealWonder, el primer sistema en tiempo real para generar vídeos condicionados por acciones a partir de una sola imagen. Nuestra clave reside en utilizar la simulación física como puente intermedio: en lugar de codificar acciones continuas directamente, las traducimos mediante simulación física a representaciones visuales (flujo óptico y RGB) que los modelos de vídeo pueden procesar. RealWonder integra tres componentes: reconstrucción 3D a partir de imágenes únicas, simulación física y un generador de vídeo destilado que requiere solo 4 pasos de difusión. Nuestro sistema alcanza 13.2 FPS en resolución 480x832, permitiendo la exploración interactiva de fuerzas, acciones robóticas y controles de cámara sobre objetos rígidos, cuerpos deformables, fluidos y materiales granulares. Visualizamos que RealWonder abre nuevas oportunidades para aplicar modelos de vídeo en experiencias inmersivas, AR/VR y aprendizaje robótico. Nuestro código y pesos del modelo están disponibles públicamente en nuestro sitio web del proyecto: https://liuwei283.github.io/RealWonder/
English
Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/