In-2-4D: Интерполяция между двумя одноракурсными изображениями для генерации 4D

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Авторы: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Аннотация

Мы предлагаем новую задачу, In-2-4D, для генерации промежуточных состояний в 4D (т.е. 3D + движение) на основе минималистичного входного набора: двух однокадровых изображений, запечатлеющих объект в двух различных состояниях движения. Имея два изображения, представляющих начальное и конечное состояние объекта в движении, наша цель — сгенерировать и восстановить движение в 4D. Мы используем модель интерполяции видео для предсказания движения, однако большие изменения между кадрами могут приводить к неоднозначным интерпретациям. Чтобы преодолеть это, мы применяем иерархический подход для идентификации ключевых кадров, которые визуально близки к входным состояниям и демонстрируют значительное движение, а затем генерируем плавные фрагменты между ними. Для каждого фрагмента мы строим 3D-представление ключевого кадра с использованием метода Gaussian Splatting. Временные кадры внутри фрагмента направляют движение, позволяя преобразовать их в динамические гауссовы распределения через поле деформации. Для улучшения временной согласованности и уточнения 3D-движения мы расширяем механизм self-attention в многокадровой диффузии на временные шаги и применяем регуляризацию жестких преобразований. Наконец, мы объединяем независимо сгенерированные 3D-сегменты движения путем интерполяции граничных полей деформации и их оптимизации для согласования с направляющим видео, обеспечивая плавные и без мерцания переходы. Благодаря обширным качественным и количественным экспериментам, а также исследованию с участием пользователей, мы демонстрируем эффективность нашего метода и его компонентов. Страница проекта доступна по адресу https://in-2-4d.github.io/.

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/