ReVision: Generazione Video di Alta Qualità a Basso Costo con Modellazione Esplicita della Fisica 3D per Movimenti e Interazioni Complessi

ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction

April 30, 2025

Autori: Qihao Liu, Ju He, Qihang Yu, Liang-Chieh Chen, Alan Yuille

cs.AI

Abstract

Negli ultimi anni, la generazione di video ha registrato progressi significativi. Tuttavia, permangono sfide nella generazione di movimenti e interazioni complessi. Per affrontare queste sfide, introduciamo ReVision, un framework plug-and-play che integra esplicitamente conoscenze fisiche 3D parametrizzate in un modello preaddestrato di generazione condizionata di video, migliorando significativamente la sua capacità di generare video di alta qualità con movimenti e interazioni complessi. Nello specifico, ReVision si compone di tre fasi. Innanzitutto, un modello di diffusione video viene utilizzato per generare un video grezzo. Successivamente, estraiamo un insieme di caratteristiche 2D e 3D dal video grezzo per costruire una rappresentazione 3D centrata sugli oggetti, che viene poi raffinata dal nostro modello di conoscenza fisica parametrizzata proposto per produrre una sequenza di movimenti 3D accurata. Infine, questa sequenza di movimenti raffinata viene reinserita nello stesso modello di diffusione video come condizionamento aggiuntivo, consentendo la generazione di video coerenti nei movimenti, anche in scenari che coinvolgono azioni e interazioni complesse. Validiamo l'efficacia del nostro approccio su Stable Video Diffusion, dove ReVision migliora significativamente la fedeltà e la coerenza dei movimenti. Notevolmente, con soli 1,5 miliardi di parametri, supera addirittura un modello all'avanguardia di generazione video con oltre 13 miliardi di parametri nella generazione di video complessi con un margine sostanziale. I nostri risultati suggeriscono che, incorporando conoscenze fisiche 3D, anche un modello di diffusione video relativamente piccolo può generare movimenti e interazioni complessi con maggiore realismo e controllabilità, offrendo una soluzione promettente per la generazione di video fisicamente plausibili.

English

In recent years, video generation has seen significant advancements. However, challenges still persist in generating complex motions and interactions. To address these challenges, we introduce ReVision, a plug-and-play framework that explicitly integrates parameterized 3D physical knowledge into a pretrained conditional video generation model, significantly enhancing its ability to generate high-quality videos with complex motion and interactions. Specifically, ReVision consists of three stages. First, a video diffusion model is used to generate a coarse video. Next, we extract a set of 2D and 3D features from the coarse video to construct a 3D object-centric representation, which is then refined by our proposed parameterized physical prior model to produce an accurate 3D motion sequence. Finally, this refined motion sequence is fed back into the same video diffusion model as additional conditioning, enabling the generation of motion-consistent videos, even in scenarios involving complex actions and interactions. We validate the effectiveness of our approach on Stable Video Diffusion, where ReVision significantly improves motion fidelity and coherence. Remarkably, with only 1.5B parameters, it even outperforms a state-of-the-art video generation model with over 13B parameters on complex video generation by a substantial margin. Our results suggest that, by incorporating 3D physical knowledge, even a relatively small video diffusion model can generate complex motions and interactions with greater realism and controllability, offering a promising solution for physically plausible video generation.