Video Creatie door Demonstratie

Samenvatting

We verkennen een nieuwe video-creatie-ervaring, namelijk Video Creatie door Demonstratie. Gegeven een demonstratievideo en een contextafbeelding van een andere scène, genereren we een fysiek plausibele video die op natuurlijke wijze voortbouwt op de contextafbeelding en de actieconcepten uit de demonstratie uitvoert. Om deze mogelijkheid mogelijk te maken, presenteren we delta-Diffusion, een zelftoezichtbenadering die leert van ongelabelde video's door conditionele voorspelling van toekomstige frames. In tegenstelling tot de meeste bestaande video-generatiecontroles die zijn gebaseerd op expliciete signalen, nemen we de vorm aan van impliciete latente controle voor maximale flexibiliteit en expressiviteit die vereist is voor algemene video's. Door gebruik te maken van een videofundatiemodel met een ontwerp van een verschijningsbottleneck erbovenop, extraheren we actielatenten uit demonstratievideo's om het generatieproces te conditioneren met minimale verschijningslekken. Empirisch presteert delta-Diffusion beter dan gerelateerde baselines wat betreft zowel menselijke voorkeur als grootschalige machinale evaluaties, en toont het potentieel voor interactieve wereldsimulatie. Voorbeelden van gegenereerde videoresultaten zijn beschikbaar op https://delta-diffusion.github.io/.

English

We explore a novel video creation experience, namely Video Creation by Demonstration. Given a demonstration video and a context image from a different scene, we generate a physically plausible video that continues naturally from the context image and carries out the action concepts from the demonstration. To enable this capability, we present delta-Diffusion, a self-supervised training approach that learns from unlabeled videos by conditional future frame prediction. Unlike most existing video generation controls that are based on explicit signals, we adopts the form of implicit latent control for maximal flexibility and expressiveness required by general videos. By leveraging a video foundation model with an appearance bottleneck design on top, we extract action latents from demonstration videos for conditioning the generation process with minimal appearance leakage. Empirically, delta-Diffusion outperforms related baselines in terms of both human preference and large-scale machine evaluations, and demonstrates potentials towards interactive world simulation. Sampled video generation results are available at https://delta-diffusion.github.io/.