Dinamiche Generative delle Immagini

Abstract

Presentiamo un approccio per modellare un priore nello spazio dell'immagine sulla dinamica della scena. Il nostro priore viene appreso da una raccolta di traiettorie di movimento estratte da sequenze video reali contenenti moti naturali oscillanti, come alberi, fiori, candele e vestiti mossi dal vento. Data una singola immagine, il nostro modello addestrato utilizza un processo di campionamento diffuso coordinato in frequenza per prevedere una rappresentazione del movimento a lungo termine per pixel nel dominio di Fourier, che chiamiamo texture di movimento stocastico neurale. Questa rappresentazione può essere convertita in traiettorie di movimento dense che coprono un intero video. Insieme a un modulo di rendering basato su immagini, queste traiettorie possono essere utilizzate per diverse applicazioni a valle, come trasformare immagini statiche in video dinamici che si ripetono senza soluzione di continuità, o consentire agli utenti di interagire in modo realistico con oggetti in fotografie reali.

English

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

Dinamiche Generative delle Immagini

Generative Image Dynamics

Abstract

Support