Creación de Video por Demostración

Video Creation by Demonstration

December 12, 2024

Autores: Yihong Sun, Hao Zhou, Liangzhe Yuan, Jennifer J. Sun, Yandong Li, Xuhui Jia, Hartwig Adam, Bharath Hariharan, Long Zhao, Ting Liu

cs.AI

Resumen

Exploramos una experiencia novedosa de creación de videos, denominada Creación de Video por Demostración. Dado un video de demostración y una imagen de contexto de una escena diferente, generamos un video físicamente plausible que continúa de forma natural a partir de la imagen de contexto y lleva a cabo los conceptos de acción de la demostración. Para habilitar esta capacidad, presentamos Delta-Diffusion, un enfoque de entrenamiento auto-supervisado que aprende de videos no etiquetados mediante la predicción condicional de fotogramas futuros. A diferencia de la mayoría de los controles de generación de video existentes que se basan en señales explícitas, adoptamos la forma de control latente implícito para una flexibilidad y expresividad máximas requeridas por videos generales. Al aprovechar un modelo de base de video con un diseño de cuello de botella de apariencia en la parte superior, extraemos latentes de acción de videos de demostración para condicionar el proceso de generación con una filtración de apariencia mínima. Empíricamente, Delta-Diffusion supera a los baselines relacionados en términos de preferencia humana y evaluaciones a gran escala de máquinas, y demuestra potencial hacia la simulación interactiva del mundo. Los resultados de generación de video muestreados están disponibles en https://delta-diffusion.github.io/.

English

We explore a novel video creation experience, namely Video Creation by Demonstration. Given a demonstration video and a context image from a different scene, we generate a physically plausible video that continues naturally from the context image and carries out the action concepts from the demonstration. To enable this capability, we present delta-Diffusion, a self-supervised training approach that learns from unlabeled videos by conditional future frame prediction. Unlike most existing video generation controls that are based on explicit signals, we adopts the form of implicit latent control for maximal flexibility and expressiveness required by general videos. By leveraging a video foundation model with an appearance bottleneck design on top, we extract action latents from demonstration videos for conditioning the generation process with minimal appearance leakage. Empirically, delta-Diffusion outperforms related baselines in terms of both human preference and large-scale machine evaluations, and demonstrates potentials towards interactive world simulation. Sampled video generation results are available at https://delta-diffusion.github.io/.