In-2-4D : Interpolation d'images à vue unique pour la génération 4D

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Auteurs: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Résumé

Nous proposons un nouveau problème, In-2-4D, pour l'interpolation générative en 4D (c'est-à-dire 3D + mouvement) à partir d'une configuration d'entrée minimaliste : deux images monocaptures représentant un objet dans deux états de mouvement distincts. Étant donné deux images représentant les états de début et de fin d'un objet en mouvement, notre objectif est de générer et de reconstruire le mouvement en 4D. Nous utilisons un modèle d'interpolation vidéo pour prédire le mouvement, mais de grands écarts entre les images peuvent conduire à des interprétations ambiguës. Pour surmonter cela, nous employons une approche hiérarchique pour identifier des images clés visuellement proches des états d'entrée et montrant un mouvement significatif, puis générons des fragments fluides entre elles. Pour chaque fragment, nous construisons la représentation 3D de l'image clé en utilisant le Gaussian Splatting. Les images temporelles au sein du fragment guident le mouvement, permettant leur transformation en Gaussiennes dynamiques via un champ de déformation. Pour améliorer la cohérence temporelle et affiner le mouvement 3D, nous étendons l'auto-attention de la diffusion multi-vues à travers les pas de temps et appliquons une régularisation par transformation rigide. Enfin, nous fusionnons les segments de mouvement 3D générés indépendamment en interpolant les champs de déformation aux limites et en les optimisant pour s'aligner avec la vidéo guide, assurant ainsi des transitions fluides et sans scintillement. À travers des expériences qualitatives et quantitatives approfondies ainsi qu'une étude utilisateur, nous démontrons l'efficacité de notre méthode et de ses composants. La page du projet est disponible à l'adresse https://in-2-4d.github.io/

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/