Création de vidéo par démonstration

Video Creation by Demonstration

December 12, 2024

Auteurs: Yihong Sun, Hao Zhou, Liangzhe Yuan, Jennifer J. Sun, Yandong Li, Xuhui Jia, Hartwig Adam, Bharath Hariharan, Long Zhao, Ting Liu

cs.AI

Résumé

Nous explorons une nouvelle expérience de création vidéo, nommée Création Vidéo par Démonstration. Étant donné une vidéo de démonstration et une image de contexte provenant d'une scène différente, nous générons une vidéo physiquement plausible qui se poursuit naturellement à partir de l'image de contexte et met en œuvre les concepts d'action de la démonstration. Pour permettre cette capacité, nous présentons delta-Diffusion, une approche d'entraînement auto-supervisée qui apprend à partir de vidéos non étiquetées par prédiction conditionnelle des images futures. Contrairement à la plupart des contrôles de génération vidéo existants qui sont basés sur des signaux explicites, nous adoptons la forme de contrôle latent implicite pour une flexibilité maximale et une expressivité requise par les vidéos générales. En exploitant un modèle de base vidéo avec une conception de bottleneck d'apparence en surface, nous extrayons des latents d'action des vidéos de démonstration pour conditionner le processus de génération avec une fuite d'apparence minimale. Empiriquement, delta-Diffusion surpasse les baselines connexes en termes de préférence humaine et d'évaluations à grande échelle par des machines, et démontre des potentiels vers la simulation interactive du monde. Des résultats de génération vidéo échantillonnés sont disponibles sur https://delta-diffusion.github.io/.

English

We explore a novel video creation experience, namely Video Creation by Demonstration. Given a demonstration video and a context image from a different scene, we generate a physically plausible video that continues naturally from the context image and carries out the action concepts from the demonstration. To enable this capability, we present delta-Diffusion, a self-supervised training approach that learns from unlabeled videos by conditional future frame prediction. Unlike most existing video generation controls that are based on explicit signals, we adopts the form of implicit latent control for maximal flexibility and expressiveness required by general videos. By leveraging a video foundation model with an appearance bottleneck design on top, we extract action latents from demonstration videos for conditioning the generation process with minimal appearance leakage. Empirically, delta-Diffusion outperforms related baselines in terms of both human preference and large-scale machine evaluations, and demonstrates potentials towards interactive world simulation. Sampled video generation results are available at https://delta-diffusion.github.io/.