Een Video Herrenderen: Zero-Shot Tekstgeleide Video-naar-Video Vertaling

Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation

June 13, 2023

Auteurs: Shuai Yang, Yifan Zhou, Ziwei Liu, Chen Change Loy

cs.AI

Samenvatting

Grote tekst-naar-beeld diffusiemodellen hebben indrukwekkende vaardigheden getoond in het genereren van hoogwaardige afbeeldingen. Wanneer deze modellen echter worden toegepast op het videodomein, blijft het waarborgen van temporele consistentie tussen videoframes een aanzienlijke uitdaging. Dit artikel stelt een nieuw zero-shot tekstgeleid video-naar-video vertaalraamwerk voor om beeldmodellen aan te passen voor video's. Het raamwerk bestaat uit twee delen: sleutelframe vertaling en volledige video vertaling. Het eerste deel gebruikt een aangepast diffusiemodel om sleutelframes te genereren, waarbij hiërarchische cross-frame beperkingen worden toegepast om consistentie in vormen, texturen en kleuren te waarborgen. Het tweede deel verspreidt de sleutelframes naar andere frames met temporeel bewuste patch matching en frame blending. Ons raamwerk bereikt globale stijl en lokale textuur temporele consistentie tegen lage kosten (zonder hertraining of optimalisatie). De aanpassing is compatibel met bestaande beelddiffusietechnieken, waardoor ons raamwerk hiervan kan profiteren, zoals het aanpassen van een specifiek onderwerp met LoRA, en het introduceren van extra ruimtelijke begeleiding met ControlNet. Uitgebreide experimentele resultaten tonen de effectiviteit van ons voorgestelde raamwerk aan boven bestaande methoden in het renderen van hoogwaardige en temporeel coherente video's.

English

Large text-to-image diffusion models have exhibited impressive proficiency in generating high-quality images. However, when applying these models to video domain, ensuring temporal consistency across video frames remains a formidable challenge. This paper proposes a novel zero-shot text-guided video-to-video translation framework to adapt image models to videos. The framework includes two parts: key frame translation and full video translation. The first part uses an adapted diffusion model to generate key frames, with hierarchical cross-frame constraints applied to enforce coherence in shapes, textures and colors. The second part propagates the key frames to other frames with temporal-aware patch matching and frame blending. Our framework achieves global style and local texture temporal consistency at a low cost (without re-training or optimization). The adaptation is compatible with existing image diffusion techniques, allowing our framework to take advantage of them, such as customizing a specific subject with LoRA, and introducing extra spatial guidance with ControlNet. Extensive experimental results demonstrate the effectiveness of our proposed framework over existing methods in rendering high-quality and temporally-coherent videos.