RealWonder: Geração de Vídeo em Tempo Real Condicionada por Ações Físicas
RealWonder: Real-Time Physical Action-Conditioned Video Generation
March 5, 2026
Autores: Wei Liu, Ziyu Chen, Zizhang Li, Yue Wang, Hong-Xing Yu, Jiajun Wu
cs.AI
Resumo
Os atuais modelos de geração de vídeo não conseguem simular consequências físicas de ações 3D, como forças e manipulações robóticas, por carecerem de compreensão estrutural sobre como as ações afetam cenas tridimensionais. Apresentamos o RealWonder, o primeiro sistema em tempo real para geração de vídeo condicionada por ações a partir de uma única imagem. Nossa principal inovação reside no uso da simulação física como ponte intermediária: em vez de codificar ações contínuas diretamente, as traduzimos por meio da simulação física em representações visuais (fluxo óptico e RGB) processáveis por modelos de vídeo. O RealWonder integra três componentes: reconstrução 3D a partir de imagens únicas, simulação física e um gerador de vídeo destilado que requer apenas 4 etapas de difusão. Nosso sistema atinge 13,2 FPS em resolução 480x832, permitindo exploração interativa de forças, ações robóticas e controles de câmera em objetos rígidos, corpos deformáveis, fluidos e materiais granulares. Vislumbramos que o RealWonder abre novas oportunidades para aplicar modelos de vídeo em experiências imersivas, AR/VR e aprendizado robótico. Nosso código e pesos dos modelos estão disponíveis publicamente em: https://liuwei283.github.io/RealWonder/
English
Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/