Dinámicas Generativas de Imágenes

Resumen

Presentamos un enfoque para modelar un previo en el espacio de imagen sobre la dinámica de escenas. Nuestro previo se aprende a partir de una colección de trayectorias de movimiento extraídas de secuencias de video reales que contienen movimientos naturales y oscilantes, como árboles, flores, velas y ropa moviéndose con el viento. Dada una sola imagen, nuestro modelo entrenado utiliza un proceso de muestreo de difusión coordinado en frecuencia para predecir una representación de movimiento a largo plazo por píxel en el dominio de Fourier, a la que llamamos textura de movimiento estocástico neuronal. Esta representación puede convertirse en trayectorias de movimiento densas que abarcan un video completo. Junto con un módulo de renderizado basado en imágenes, estas trayectorias pueden utilizarse para diversas aplicaciones posteriores, como convertir imágenes estáticas en videos dinámicos que se repiten sin interrupciones, o permitir que los usuarios interactúen de manera realista con objetos en fotografías reales.

English

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

Dinámicas Generativas de Imágenes

Generative Image Dynamics

Resumen

Support