Генеративная динамика изображений
Generative Image Dynamics
September 14, 2023
Авторы: Zhengqi Li, Richard Tucker, Noah Snavely, Aleksander Holynski
cs.AI
Аннотация
Мы представляем подход к моделированию априорного распределения динамики сцены в пространстве изображений. Наше априорное распределение обучается на наборе траекторий движения, извлеченных из реальных видеопоследовательностей, содержащих естественные колебательные движения, такие как деревья, цветы, свечи и ткань, развевающаяся на ветру. Для заданного одиночного изображения наша обученная модель использует процесс диффузионной выборки с координацией по частотам для предсказания долгосрочного представления движения на уровне пикселей в частотной области, которое мы называем нейронной стохастической текстурой движения. Это представление может быть преобразовано в плотные траектории движения, охватывающие весь видеоряд. В сочетании с модулем рендеринга на основе изображений эти траектории могут быть использованы для ряда приложений, таких как преобразование статичных изображений в бесшовно зацикленные динамические видео или реалистичное взаимодействие пользователей с объектами на реальных фотографиях.
English
We present an approach to modeling an image-space prior on scene dynamics.
Our prior is learned from a collection of motion trajectories extracted from
real video sequences containing natural, oscillating motion such as trees,
flowers, candles, and clothes blowing in the wind. Given a single image, our
trained model uses a frequency-coordinated diffusion sampling process to
predict a per-pixel long-term motion representation in the Fourier domain,
which we call a neural stochastic motion texture. This representation can be
converted into dense motion trajectories that span an entire video. Along with
an image-based rendering module, these trajectories can be used for a number of
downstream applications, such as turning still images into seamlessly looping
dynamic videos, or allowing users to realistically interact with objects in
real pictures.