Guida ai Fotogrammi: Controllo a Livello di Fotogramma senza Addestramento nei Modelli di Diffusione Video

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

June 8, 2025

Autori: Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

cs.AI

Abstract

I progressi nei modelli di diffusione hanno significativamente migliorato la qualità video, dirigendo l'attenzione verso una controllabilità fine. Tuttavia, molti metodi esistenti dipendono dalla messa a punto di modelli video su larga scala per compiti specifici, il che diventa sempre più impraticabile man mano che le dimensioni dei modelli continuano a crescere. In questo lavoro, presentiamo Frame Guidance, una guida senza addestramento per la generazione video controllata basata su segnali a livello di fotogramma, come fotogrammi chiave, immagini di riferimento stilistiche, schizzi o mappe di profondità. Per una guida pratica senza addestramento, proponiamo un semplice metodo di elaborazione latente che riduce drasticamente l'uso della memoria e applichiamo una nuova strategia di ottimizzazione latente progettata per la generazione video globalmente coerente. Frame Guidance consente un controllo efficace su una vasta gamma di compiti, tra cui la guida tramite fotogrammi chiave, la stilizzazione e la creazione di loop, senza alcun addestramento, compatibile con qualsiasi modello video. I risultati sperimentali dimostrano che Frame Guidance può produrre video controllati di alta qualità per un'ampia gamma di compiti e segnali di input.

English

Advancements in diffusion models have significantly improved video quality, directing attention to fine-grained controllability. However, many existing methods depend on fine-tuning large-scale video models for specific tasks, which becomes increasingly impractical as model sizes continue to grow. In this work, we present Frame Guidance, a training-free guidance for controllable video generation based on frame-level signals, such as keyframes, style reference images, sketches, or depth maps. For practical training-free guidance, we propose a simple latent processing method that dramatically reduces memory usage, and apply a novel latent optimization strategy designed for globally coherent video generation. Frame Guidance enables effective control across diverse tasks, including keyframe guidance, stylization, and looping, without any training, compatible with any video models. Experimental results show that Frame Guidance can produce high-quality controlled videos for a wide range of tasks and input signals.