TokenFlow: Características de Difusión Consistentes para la Edición Consistente de Videos

TokenFlow: Consistent Diffusion Features for Consistent Video Editing

July 19, 2023

Autores: Michal Geyer, Omer Bar-Tal, Shai Bagon, Tali Dekel

cs.AI

Resumen

La revolución de la IA generativa se ha extendido recientemente a los videos. Sin embargo, los modelos de video más avanzados actualmente aún están rezagados en comparación con los modelos de imágenes en términos de calidad visual y control del usuario sobre el contenido generado. En este trabajo, presentamos un marco que aprovecha el poder de un modelo de difusión de texto a imagen para la tarea de edición de videos impulsada por texto. Específicamente, dado un video de origen y un texto objetivo, nuestro método genera un video de alta calidad que se ajusta al texto objetivo, mientras preserva el diseño espacial y el movimiento del video de entrada. Nuestro método se basa en una observación clave: la consistencia en el video editado puede obtenerse aplicando consistencia en el espacio de características de difusión. Logramos esto propagando explícitamente las características de difusión basadas en correspondencias entre fotogramas, que están fácilmente disponibles en el modelo. Por lo tanto, nuestro marco no requiere ningún entrenamiento o ajuste fino, y puede funcionar en conjunto con cualquier método de edición de texto a imagen disponible comercialmente. Demostramos resultados de edición de última generación en una variedad de videos del mundo real. Página web: https://diffusion-tokenflow.github.io/

English

The generative AI revolution has recently expanded to videos. Nevertheless, current state-of-the-art video models are still lagging behind image models in terms of visual quality and user control over the generated content. In this work, we present a framework that harnesses the power of a text-to-image diffusion model for the task of text-driven video editing. Specifically, given a source video and a target text-prompt, our method generates a high-quality video that adheres to the target text, while preserving the spatial layout and motion of the input video. Our method is based on a key observation that consistency in the edited video can be obtained by enforcing consistency in the diffusion feature space. We achieve this by explicitly propagating diffusion features based on inter-frame correspondences, readily available in the model. Thus, our framework does not require any training or fine-tuning, and can work in conjunction with any off-the-shelf text-to-image editing method. We demonstrate state-of-the-art editing results on a variety of real-world videos. Webpage: https://diffusion-tokenflow.github.io/