Guía de Marcos: Orientación sin Entrenamiento para el Control a Nivel de Marcos en Modelos de Difusión de Video

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

June 8, 2025

Autores: Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

cs.AI

Resumen

Los avances en los modelos de difusión han mejorado significativamente la calidad de los videos, enfocando la atención en la controlabilidad de detalles finos. Sin embargo, muchos métodos existentes dependen del ajuste fino de modelos de video a gran escala para tareas específicas, lo que se vuelve cada vez más impracticable a medida que los tamaños de los modelos continúan creciendo. En este trabajo, presentamos Frame Guidance, una guía sin entrenamiento para la generación controlada de videos basada en señales a nivel de fotograma, como fotogramas clave, imágenes de referencia de estilo, bocetos o mapas de profundidad. Para una guía práctica sin entrenamiento, proponemos un método simple de procesamiento latente que reduce drásticamente el uso de memoria y aplicamos una novedosa estrategia de optimización latente diseñada para la generación de videos globalmente coherentes. Frame Guidance permite un control efectivo en diversas tareas, incluyendo guía de fotogramas clave, estilización y bucles, sin necesidad de entrenamiento y compatible con cualquier modelo de video. Los resultados experimentales muestran que Frame Guidance puede producir videos controlados de alta calidad para una amplia gama de tareas y señales de entrada.

English

Advancements in diffusion models have significantly improved video quality, directing attention to fine-grained controllability. However, many existing methods depend on fine-tuning large-scale video models for specific tasks, which becomes increasingly impractical as model sizes continue to grow. In this work, we present Frame Guidance, a training-free guidance for controllable video generation based on frame-level signals, such as keyframes, style reference images, sketches, or depth maps. For practical training-free guidance, we propose a simple latent processing method that dramatically reduces memory usage, and apply a novel latent optimization strategy designed for globally coherent video generation. Frame Guidance enables effective control across diverse tasks, including keyframe guidance, stylization, and looping, without any training, compatible with any video models. Experimental results show that Frame Guidance can produce high-quality controlled videos for a wide range of tasks and input signals.