TokenFlow: Konsistente Diffusionsmerkmale für konsistente Videobearbeitung

TokenFlow: Consistent Diffusion Features for Consistent Video Editing

July 19, 2023

Autoren: Michal Geyer, Omer Bar-Tal, Shai Bagon, Tali Dekel

cs.AI

Zusammenfassung

Die generative KI-Revolution hat sich kürzlich auf Videos ausgeweitet. Dennoch hinken aktuelle State-of-the-Art-Videomodelle im Vergleich zu Bildmodellen in Bezug auf visuelle Qualität und Benutzerkontrolle über das generierte Content noch zurück. In dieser Arbeit präsentieren wir ein Framework, das die Leistungsfähigkeit eines Text-zu-Bild-Diffusionsmodells für die Aufgabe der textgesteuerten Videobearbeitung nutzt. Konkret generiert unsere Methode, basierend auf einem Quellvideo und einem Zieltext-Prompt, ein hochwertiges Video, das dem Zieltext entspricht, während das räumliche Layout und die Bewegung des Eingabevideos beibehalten werden. Unsere Methode basiert auf der zentralen Beobachtung, dass Konsistenz im bearbeiteten Video durch die Durchsetzung von Konsistenz im Diffusions-Feature-Raum erreicht werden kann. Dies erreichen wir, indem wir Diffusions-Features explizit basierend auf Inter-Frame-Korrespondenzen propagieren, die im Modell leicht verfügbar sind. Somit erfordert unser Framework kein Training oder Feinabstimmung und kann in Verbindung mit jeder verfügbaren Text-zu-Bild-Bearbeitungsmethode eingesetzt werden. Wir demonstrieren State-of-the-Art-Bearbeitungsergebnisse anhand einer Vielzahl von realen Videos. Webseite: https://diffusion-tokenflow.github.io/

English

The generative AI revolution has recently expanded to videos. Nevertheless, current state-of-the-art video models are still lagging behind image models in terms of visual quality and user control over the generated content. In this work, we present a framework that harnesses the power of a text-to-image diffusion model for the task of text-driven video editing. Specifically, given a source video and a target text-prompt, our method generates a high-quality video that adheres to the target text, while preserving the spatial layout and motion of the input video. Our method is based on a key observation that consistency in the edited video can be obtained by enforcing consistency in the diffusion feature space. We achieve this by explicitly propagating diffusion features based on inter-frame correspondences, readily available in the model. Thus, our framework does not require any training or fine-tuning, and can work in conjunction with any off-the-shelf text-to-image editing method. We demonstrate state-of-the-art editing results on a variety of real-world videos. Webpage: https://diffusion-tokenflow.github.io/