ReVision: Hoogwaardige, kosteneffectieve videogeneratie met expliciete 3D-fysicamodellering voor complexe beweging en interactie

ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction

April 30, 2025

Auteurs: Qihao Liu, Ju He, Qihang Yu, Liang-Chieh Chen, Alan Yuille

cs.AI

Samenvatting

De afgelopen jaren heeft videogeneratie aanzienlijke vooruitgang geboekt. Toch blijven er uitdagingen bestaan bij het genereren van complexe bewegingen en interacties. Om deze uitdagingen aan te pakken, introduceren we ReVision, een plug-and-play-framework dat geparametriseerde 3D-fysische kennis expliciet integreert in een voorgetraind conditioneel videogeneratiemodel, waardoor het vermogen om hoogwaardige video's met complexe bewegingen en interacties te genereren aanzienlijk wordt verbeterd. ReVision bestaat specifiek uit drie fasen. Eerst wordt een videodiffusiemodel gebruikt om een ruwe video te genereren. Vervolgens extraheren we een reeks 2D- en 3D-kenmerken uit de ruwe video om een 3D-objectgerichte representatie te construeren, die vervolgens wordt verfijnd door ons voorgestelde geparametriseerde fysische prior-model om een nauwkeurige 3D-bewegingsreeks te produceren. Ten slotte wordt deze verfijnde bewegingsreeks teruggevoerd naar hetzelfde videodiffusiemodel als aanvullende conditionering, waardoor het genereren van beweging-consistente video's mogelijk wordt, zelfs in scenario's met complexe acties en interacties. We valideren de effectiviteit van onze aanpak op Stable Video Diffusion, waarbij ReVision de bewegingsfideliteit en -coherentie aanzienlijk verbetert. Opmerkelijk is dat het, met slechts 1,5 miljard parameters, zelfs een state-of-the-art videogeneratiemodel met meer dan 13 miljard parameters overtreft bij het genereren van complexe video's met een aanzienlijke marge. Onze resultaten suggereren dat, door het integreren van 3D-fysische kennis, zelfs een relatief klein videodiffusiemodel complexe bewegingen en interacties met meer realisme en beheersbaarheid kan genereren, wat een veelbelovende oplossing biedt voor fysisch plausibele videogeneratie.

English

In recent years, video generation has seen significant advancements. However, challenges still persist in generating complex motions and interactions. To address these challenges, we introduce ReVision, a plug-and-play framework that explicitly integrates parameterized 3D physical knowledge into a pretrained conditional video generation model, significantly enhancing its ability to generate high-quality videos with complex motion and interactions. Specifically, ReVision consists of three stages. First, a video diffusion model is used to generate a coarse video. Next, we extract a set of 2D and 3D features from the coarse video to construct a 3D object-centric representation, which is then refined by our proposed parameterized physical prior model to produce an accurate 3D motion sequence. Finally, this refined motion sequence is fed back into the same video diffusion model as additional conditioning, enabling the generation of motion-consistent videos, even in scenarios involving complex actions and interactions. We validate the effectiveness of our approach on Stable Video Diffusion, where ReVision significantly improves motion fidelity and coherence. Remarkably, with only 1.5B parameters, it even outperforms a state-of-the-art video generation model with over 13B parameters on complex video generation by a substantial margin. Our results suggest that, by incorporating 3D physical knowledge, even a relatively small video diffusion model can generate complex motions and interactions with greater realism and controllability, offering a promising solution for physically plausible video generation.