Frame Guidance: Trainingsfreie Steuerung für Frame-Level-Kontrolle in Video-Diffusionsmodellen

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

June 8, 2025

Autoren: Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

cs.AI

Zusammenfassung

Fortschritte bei Diffusionsmodellen haben die Videoqualität erheblich verbessert und die Aufmerksamkeit auf feinkörnige Steuerbarkeit gelenkt. Viele bestehende Methoden sind jedoch auf das Feinabstimmen großformatiger Videomodelle für spezifische Aufgaben angewiesen, was mit zunehmender Modellgröße immer unpraktischer wird. In dieser Arbeit präsentieren wir Frame Guidance, eine trainingsfreie Steuerung für kontrollierbare Videogenerierung, die auf Frame-Level-Signalen wie Keyframes, Stilreferenzbildern, Skizzen oder Tiefenkarten basiert. Für eine praktische trainingsfreie Steuerung schlagen wir eine einfache latente Verarbeitungsmethode vor, die den Speicherverbrauch drastisch reduziert, und wenden eine neuartige latente Optimierungsstrategie an, die für global kohärente Videogenerierung entwickelt wurde. Frame Guidance ermöglicht eine effektive Steuerung über diverse Aufgaben hinweg, einschließlich Keyframe-Steuerung, Stilisierung und Looping, ohne jegliches Training und ist mit allen Videomodellen kompatibel. Experimentelle Ergebnisse zeigen, dass Frame Guidance hochwertige kontrollierte Videos für eine Vielzahl von Aufgaben und Eingabesignalen erzeugen kann.

English

Advancements in diffusion models have significantly improved video quality, directing attention to fine-grained controllability. However, many existing methods depend on fine-tuning large-scale video models for specific tasks, which becomes increasingly impractical as model sizes continue to grow. In this work, we present Frame Guidance, a training-free guidance for controllable video generation based on frame-level signals, such as keyframes, style reference images, sketches, or depth maps. For practical training-free guidance, we propose a simple latent processing method that dramatically reduces memory usage, and apply a novel latent optimization strategy designed for globally coherent video generation. Frame Guidance enables effective control across diverse tasks, including keyframe guidance, stylization, and looping, without any training, compatible with any video models. Experimental results show that Frame Guidance can produce high-quality controlled videos for a wide range of tasks and input signals.