Руководство по кадрам: обучение без наставления для управления на уровне кадров в видеодиффузионных моделях

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

June 8, 2025

Авторы: Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

cs.AI

Аннотация

Достижения в области диффузионных моделей значительно улучшили качество видео, привлекая внимание к детализированной управляемости. Однако многие существующие методы зависят от тонкой настройки крупномасштабных видео-моделей для конкретных задач, что становится все более непрактичным по мере увеличения размеров моделей. В данной работе мы представляем Frame Guidance — метод управления генерацией видео без необходимости обучения, основанный на сигналах уровня кадров, таких как ключевые кадры, эталонные изображения стиля, эскизы или карты глубины. Для практического применения без обучения мы предлагаем простой метод обработки латентных представлений, который значительно снижает использование памяти, и применяем новую стратегию оптимизации латентных переменных, разработанную для глобально согласованной генерации видео. Frame Guidance обеспечивает эффективное управление в различных задачах, включая управление ключевыми кадрами, стилизацию и создание цикличных видео, без необходимости обучения и совместим с любыми видео-моделями. Экспериментальные результаты показывают, что Frame Guidance способен создавать высококачественные управляемые видео для широкого спектра задач и входных сигналов.

English

Advancements in diffusion models have significantly improved video quality, directing attention to fine-grained controllability. However, many existing methods depend on fine-tuning large-scale video models for specific tasks, which becomes increasingly impractical as model sizes continue to grow. In this work, we present Frame Guidance, a training-free guidance for controllable video generation based on frame-level signals, such as keyframes, style reference images, sketches, or depth maps. For practical training-free guidance, we propose a simple latent processing method that dramatically reduces memory usage, and apply a novel latent optimization strategy designed for globally coherent video generation. Frame Guidance enables effective control across diverse tasks, including keyframe guidance, stylization, and looping, without any training, compatible with any video models. Experimental results show that Frame Guidance can produce high-quality controlled videos for a wide range of tasks and input signals.