TokenFlow: Consistente diffusiekenmerken voor consistente videobewerking

TokenFlow: Consistent Diffusion Features for Consistent Video Editing

July 19, 2023

Auteurs: Michal Geyer, Omer Bar-Tal, Shai Bagon, Tali Dekel

cs.AI

Samenvatting

De generatieve AI-revolutie heeft zich recentelijk uitgebreid naar video's. Desalniettemin blijven de huidige state-of-the-art videomodellen achter op beeldmodellen wat betreft visuele kwaliteit en gebruikerscontrole over de gegenereerde inhoud. In dit werk presenteren we een raamwerk dat de kracht van een tekst-naar-beeld diffusiemodel benut voor de taak van tekstgestuurde videobewerking. Specifiek genereert onze methode, gegeven een bronvideo en een doeltekstprompt, een hoogwaardige video die voldoet aan de doeltekst, terwijl de ruimtelijke lay-out en beweging van de invoervideo behouden blijven. Onze methode is gebaseerd op een belangrijk inzicht: consistentie in de bewerkte video kan worden bereikt door consistentie af te dwingen in de diffusie-functieruimte. We bereiken dit door diffusiefuncties expliciet te propageren op basis van inter-frame-correspondenties, die direct beschikbaar zijn in het model. Hierdoor vereist ons raamwerk geen training of fine-tuning en kan het samenwerken met elke kant-en-klare tekst-naar-beeld bewerkingsmethode. We demonstreren state-of-the-art bewerkingsresultaten op een verscheidenheid aan real-world video's. Webpagina: https://diffusion-tokenflow.github.io/

English

The generative AI revolution has recently expanded to videos. Nevertheless, current state-of-the-art video models are still lagging behind image models in terms of visual quality and user control over the generated content. In this work, we present a framework that harnesses the power of a text-to-image diffusion model for the task of text-driven video editing. Specifically, given a source video and a target text-prompt, our method generates a high-quality video that adheres to the target text, while preserving the spatial layout and motion of the input video. Our method is based on a key observation that consistency in the edited video can be obtained by enforcing consistency in the diffusion feature space. We achieve this by explicitly propagating diffusion features based on inter-frame correspondences, readily available in the model. Thus, our framework does not require any training or fine-tuning, and can work in conjunction with any off-the-shelf text-to-image editing method. We demonstrate state-of-the-art editing results on a variety of real-world videos. Webpage: https://diffusion-tokenflow.github.io/