In-2-4D: Interpolación de dos imágenes de vista única a generación 4D

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Autores: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Resumen

Proponemos un nuevo problema, In-2-4D, para la generación de intermedios en 4D (es decir, 3D + movimiento) a partir de una configuración de entrada minimalista: dos imágenes de vista única que capturan un objeto en dos estados de movimiento distintos. Dadas dos imágenes que representan los estados inicial y final de un objeto en movimiento, nuestro objetivo es generar y reconstruir el movimiento en 4D. Utilizamos un modelo de interpolación de video para predecir el movimiento, pero los grandes cambios entre fotogramas pueden llevar a interpretaciones ambiguas. Para superar esto, empleamos un enfoque jerárquico para identificar fotogramas clave que estén visualmente cercanos a los estados de entrada y muestren un movimiento significativo, luego generamos fragmentos suaves entre ellos. Para cada fragmento, construimos la representación 3D del fotograma clave utilizando Gaussian Splatting. Los fotogramas temporales dentro del fragmento guían el movimiento, permitiendo su transformación en Gaussianos dinámicos a través de un campo de deformación. Para mejorar la consistencia temporal y refinar el movimiento 3D, ampliamos la auto-atención de la difusión multi-vista a lo largo de los pasos de tiempo y aplicamos una regularización de transformación rígida. Finalmente, fusionamos los segmentos de movimiento 3D generados de manera independiente interpolando los campos de deformación en los límites y optimizándolos para alinearse con el video guía, asegurando transiciones suaves y sin parpadeos. A través de extensos experimentos cualitativos y cuantitativos, así como un estudio de usuario, demostramos la efectividad de nuestro método y sus componentes. La página del proyecto está disponible en https://in-2-4d.github.io/.

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/