Создание видео методом демонстрации

Video Creation by Demonstration

December 12, 2024

Авторы: Yihong Sun, Hao Zhou, Liangzhe Yuan, Jennifer J. Sun, Yandong Li, Xuhui Jia, Hartwig Adam, Bharath Hariharan, Long Zhao, Ting Liu

cs.AI

Аннотация

Мы исследуем новый опыт создания видео, а именно Создание Видео по Демонстрации. Учитывая демонстрационное видео и контекстное изображение из другой сцены, мы генерируем физически правдоподобное видео, которое естественным образом продолжает изображение контекста и выполняет концепции действий из демонстрации. Для обеспечения этой возможности мы представляем delta-Diffusion, самообучающийся подход к обучению на неразмеченных видео путем условного предсказания будущего кадра. В отличие от большинства существующих контролов генерации видео, основанных на явных сигналах, мы принимаем форму неявного латентного контроля для максимальной гибкости и выразительности, необходимой для общих видео. Используя модель видеофундамента с дизайном узкого места во внешности сверху, мы извлекаем действия из демонстрационных видео для условием процесса генерации с минимальным утечками внешности. Эмпирически, delta-Diffusion превосходит связанные базовые уровни как по предпочтению человека, так и по масштабным оценкам машин, и демонстрирует потенциалы в направлении интерактивной симуляции мира. Примеры результатов генерации видео доступны на https://delta-diffusion.github.io/.

English

We explore a novel video creation experience, namely Video Creation by Demonstration. Given a demonstration video and a context image from a different scene, we generate a physically plausible video that continues naturally from the context image and carries out the action concepts from the demonstration. To enable this capability, we present delta-Diffusion, a self-supervised training approach that learns from unlabeled videos by conditional future frame prediction. Unlike most existing video generation controls that are based on explicit signals, we adopts the form of implicit latent control for maximal flexibility and expressiveness required by general videos. By leveraging a video foundation model with an appearance bottleneck design on top, we extract action latents from demonstration videos for conditioning the generation process with minimal appearance leakage. Empirically, delta-Diffusion outperforms related baselines in terms of both human preference and large-scale machine evaluations, and demonstrates potentials towards interactive world simulation. Sampled video generation results are available at https://delta-diffusion.github.io/.