In-2-4D: Inbetweening von zwei Einzelbildern zur 4D-Generierung

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Autoren: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Zusammenfassung

Wir schlagen ein neues Problem vor, In-2-4D, für die generative 4D (d.h. 3D + Bewegung) Inbetweening aus einer minimalistischen Eingabekonfiguration: zwei Einzelbilder, die ein Objekt in zwei verschiedenen Bewegungszuständen erfassen. Gegeben zwei Bilder, die den Start- und Endzustand eines Objekts in Bewegung darstellen, ist unser Ziel, die Bewegung in 4D zu generieren und zu rekonstruieren. Wir verwenden ein Video-Interpolationsmodell, um die Bewegung vorherzusagen, aber große Bild-zu-Bild-Bewegungen können zu mehrdeutigen Interpretationen führen. Um dies zu überwinden, setzen wir einen hierarchischen Ansatz ein, um Keyframes zu identifizieren, die visuell nahe an den Eingabezuständen liegen und signifikante Bewegung zeigen, und erzeugen dann glatte Fragmente zwischen ihnen. Für jedes Fragment konstruieren wir die 3D-Darstellung des Keyframes mithilfe von Gaussian Splatting. Die zeitlichen Frames innerhalb des Fragments leiten die Bewegung und ermöglichen deren Transformation in dynamische Gaussians durch ein Deformationsfeld. Um die zeitliche Konsistenz zu verbessern und die 3D-Bewegung zu verfeinern, erweitern wir die Selbstaufmerksamkeit der Multi-View-Diffusion über Zeitschritte und wenden eine Regularisierung der starren Transformation an. Schließlich fügen wir die unabhängig generierten 3D-Bewegungssegmente durch Interpolation der Randdeformationsfelder zusammen und optimieren sie, um sie mit dem leitenden Video abzugleichen, wodurch glatte und flimmerfreie Übergänge sichergestellt werden. Durch umfangreiche qualitative und quantitative Experimente sowie eine Benutzerstudie zeigen wir die Wirksamkeit unserer Methode und ihrer Komponenten. Die Projektseite ist verfügbar unter https://in-2-4d.github.io/.

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/