생성적 이미지 역학

초록

우리는 장면 동역학에 대한 이미지 공간 사전 모델링 접근법을 제시한다. 우리의 사전 모델은 나무, 꽃, 촛불, 바람에 날리는 옷 등 자연스러운 진동 운동을 포함한 실제 비디오 시퀀스에서 추출된 운동 궤적 집합으로부터 학습된다. 단일 이미지가 주어졌을 때, 우리의 학습된 모델은 푸리에 영역에서 픽셀 단위의 장기 운동 표현을 예측하기 위해 주파수 조정 확산 샘플링 과정을 사용하며, 이를 신경 확률적 운동 텍스처라고 부른다. 이 표현은 전체 비디오에 걸친 밀집된 운동 궤적으로 변환될 수 있다. 이미지 기반 렌더링 모듈과 함께, 이러한 궤적은 정지 이미지를 원활하게 반복되는 동적 비디오로 변환하거나 사용자가 실제 사진 속 물체와 현실적으로 상호작용할 수 있도록 하는 등 다양한 하위 작업에 활용될 수 있다.

English

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

생성적 이미지 역학

Generative Image Dynamics

초록

Support