TokenFlow: Recursos de Difusão Consistentes para Edição Consistente de Vídeos

TokenFlow: Consistent Diffusion Features for Consistent Video Editing

July 19, 2023

Autores: Michal Geyer, Omer Bar-Tal, Shai Bagon, Tali Dekel

cs.AI

Resumo

A revolução da IA generativa expandiu-se recentemente para vídeos. No entanto, os modelos de vídeo atuais de última geração ainda estão atrás dos modelos de imagem em termos de qualidade visual e controle do usuário sobre o conteúdo gerado. Neste trabalho, apresentamos uma estrutura que aproveita o poder de um modelo de difusão de texto para imagem para a tarefa de edição de vídeo orientada por texto. Especificamente, dado um vídeo de origem e um prompt de texto de destino, nosso método gera um vídeo de alta qualidade que adere ao texto de destino, preservando o layout espacial e o movimento do vídeo de entrada. Nosso método é baseado em uma observação fundamental: a consistência no vídeo editado pode ser obtida aplicando consistência no espaço de características de difusão. Alcançamos isso propagando explicitamente as características de difusão com base em correspondências entre quadros, prontamente disponíveis no modelo. Assim, nossa estrutura não requer treinamento ou ajuste fino e pode funcionar em conjunto com qualquer método de edição de texto para imagem disponível no mercado. Demonstramos resultados de edição de última geração em uma variedade de vídeos do mundo real. Página web: https://diffusion-tokenflow.github.io/

English

The generative AI revolution has recently expanded to videos. Nevertheless, current state-of-the-art video models are still lagging behind image models in terms of visual quality and user control over the generated content. In this work, we present a framework that harnesses the power of a text-to-image diffusion model for the task of text-driven video editing. Specifically, given a source video and a target text-prompt, our method generates a high-quality video that adheres to the target text, while preserving the spatial layout and motion of the input video. Our method is based on a key observation that consistency in the edited video can be obtained by enforcing consistency in the diffusion feature space. We achieve this by explicitly propagating diffusion features based on inter-frame correspondences, readily available in the model. Thus, our framework does not require any training or fine-tuning, and can work in conjunction with any off-the-shelf text-to-image editing method. We demonstrate state-of-the-art editing results on a variety of real-world videos. Webpage: https://diffusion-tokenflow.github.io/