RealWonder: 실시간 물리적 동작 기반 비디오 생성

초록

현재 비디오 생성 모델은 3D 장면에 대한 동작의 영향을 구조적으로 이해하지 못해 힘이나 로봇 조작과 같은 3D 동작의 물리적 결과를 시뮬레이션할 수 없습니다. 본 논문에서는 단일 이미지로부터 동작 조건 비디오를 생성하는 최초의 실시간 시스템인 RealWonder를 제안합니다. 우리의 핵심 통찰은 물리 시뮬레이션을 중간 다리로 활용하는 것입니다. 즉, 연속적인 동작을 직접 인코딩하는 대신 물리 시뮬레이션을 통해 비디오 모델이 처리할 수 있는 시각적 표현(광학 흐름 및 RGB)으로 변환합니다. RealWonder는 단일 이미지 3D 재구성, 물리 시뮬레이션, 단 4회의 디퓨전 단계만 필요한 경량화 비디오 생성기의 세 가지 구성 요소를 통합합니다. 본 시스템은 480x832 해상도에서 13.2 FPS를 달성하여 강체, 가변체, 유체, 입자 재질에 대한 힘, 로봇 동작, 카메라 제어의 상호작용적 탐색을 가능하게 합니다. 우리는 RealWonder가 몰입형 경험, AR/VR, 로봇 학습 분야에서 비디오 모델 적용의 새로운 기회를 열 것으로 기대합니다. 코드와 모델 가중치는 프로젝트 웹사이트(https://liuwei283.github.io/RealWonder/)에서 공개됩니다.

English

Current video generation models cannot simulate physical consequences of 3D actions like forces and robotic manipulations, as they lack structural understanding of how actions affect 3D scenes. We present RealWonder, the first real-time system for action-conditioned video generation from a single image. Our key insight is using physics simulation as an intermediate bridge: instead of directly encoding continuous actions, we translate them through physics simulation into visual representations (optical flow and RGB) that video models can process. RealWonder integrates three components: 3D reconstruction from single images, physics simulation, and a distilled video generator requiring only 4 diffusion steps. Our system achieves 13.2 FPS at 480x832 resolution, enabling interactive exploration of forces, robot actions, and camera controls on rigid objects, deformable bodies, fluids, and granular materials. We envision RealWonder opens new opportunities to apply video models in immersive experiences, AR/VR, and robot learning. Our code and model weights are publicly available in our project website: https://liuwei283.github.io/RealWonder/

RealWonder: 실시간 물리적 동작 기반 비디오 생성

RealWonder: Real-Time Physical Action-Conditioned Video Generation

초록

Support