In-2-4D: Tussenbeelden van twee enkelvoudige beelden naar 4D-generatie

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Auteurs: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Samenvatting

Wij introduceren een nieuw probleem, In-2-4D, voor generatieve 4D (d.w.z. 3D + beweging) inbetweening vanuit een minimalistische invoerinstelling: twee enkelvoudige beelden die een object vastleggen in twee verschillende bewegingsstatussen. Gegeven twee afbeeldingen die de begin- en eindstaat van een object in beweging weergeven, is ons doel om de beweging in 4D te genereren en te reconstrueren. We maken gebruik van een video-interpolatiemodel om de beweging te voorspellen, maar grote frame-naar-frame bewegingen kunnen leiden tot dubbelzinnige interpretaties. Om dit te overwinnen, hanteren we een hiërarchische aanpak om keyframes te identificeren die visueel dicht bij de invoerstatussen liggen en significante beweging vertonen, waarna we soepele fragmenten tussen deze keyframes genereren. Voor elk fragment construeren we de 3D-representatie van het keyframe met behulp van Gaussian Splatting. De temporele frames binnen het fragment sturen de beweging, waardoor ze worden omgezet in dynamische Gaussians via een vervormingsveld. Om de temporele consistentie te verbeteren en de 3D-beweging te verfijnen, breiden we de self-attention van multi-view diffusie uit over tijdstappen en passen we rigid transformation regularisatie toe. Ten slotte voegen we de onafhankelijk gegenereerde 3D-bewegingssegmenten samen door de grensvervormingsvelden te interpoleren en te optimaliseren om ze af te stemmen op de begeleidende video, waardoor soepele en flikkervrije overgangen worden gegarandeerd. Door uitgebreide kwalitatieve en kwantitatieve experimenten, evenals een gebruikersstudie, tonen we de effectiviteit van onze methode en de onderdelen ervan aan. De projectpagina is beschikbaar op https://in-2-4d.github.io/.

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/