Frame Guidance: Trainingsvrije begeleiding voor frame-level controle in video-diffusiemodellen

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

June 8, 2025

Auteurs: Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

cs.AI

Samenvatting

Vooruitgang in diffusiemodellen heeft de videokwaliteit aanzienlijk verbeterd, waarbij de aandacht wordt gericht op fijnmazige bestuurbaarheid. Veel bestaande methoden zijn echter afhankelijk van het finetunen van grootschalige videomodellen voor specifieke taken, wat steeds onpraktischer wordt naarmate de modelgroottes blijven toenemen. In dit werk presenteren we Frame Guidance, een trainingsvrije begeleiding voor bestuurbare videogeneratie op basis van frame-level signalen, zoals keyframes, stijlreferentiebeelden, schetsen of dieptekaarten. Voor praktische trainingsvrije begeleiding stellen we een eenvoudige latente verwerkingsmethode voor die het geheugengebruik aanzienlijk vermindert, en passen we een nieuwe latente optimalisatiestrategie toe die is ontworpen voor wereldwijd coherente videogeneratie. Frame Guidance maakt effectieve controle mogelijk over diverse taken, waaronder keyframe-begeleiding, stilisering en looping, zonder enige training, en is compatibel met alle videomodellen. Experimentele resultaten tonen aan dat Frame Guidance hoogwaardige gecontroleerde video's kan produceren voor een breed scala aan taken en invoersignalen.

English

Advancements in diffusion models have significantly improved video quality, directing attention to fine-grained controllability. However, many existing methods depend on fine-tuning large-scale video models for specific tasks, which becomes increasingly impractical as model sizes continue to grow. In this work, we present Frame Guidance, a training-free guidance for controllable video generation based on frame-level signals, such as keyframes, style reference images, sketches, or depth maps. For practical training-free guidance, we propose a simple latent processing method that dramatically reduces memory usage, and apply a novel latent optimization strategy designed for globally coherent video generation. Frame Guidance enables effective control across diverse tasks, including keyframe guidance, stylization, and looping, without any training, compatible with any video models. Experimental results show that Frame Guidance can produce high-quality controlled videos for a wide range of tasks and input signals.