Временная тонкая настройка в контексте для универсального управления моделями диффузии видео
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Авторы: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Аннотация
Последние достижения в области диффузионных моделей для генерации видео из текста позволили добиться высококачественного синтеза видео, однако управляемая генерация остается сложной задачей, особенно при ограниченных данных и вычислительных ресурсах. Существующие методы тонкой настройки для условной генерации часто полагаются на внешние кодировщики или модификации архитектуры, что требует больших наборов данных и обычно ограничивается пространственно выровненными условиями, снижая гибкость и масштабируемость. В данной работе мы представляем Temporal In-Context Fine-Tuning (TIC-FT) — эффективный и универсальный подход для адаптации предобученных диффузионных моделей видео к разнообразным задачам условной генерации. Основная идея заключается в объединении условий и целевых кадров вдоль временной оси с добавлением промежуточных буферных кадров с постепенно увеличивающимся уровнем шума. Эти буферные кадры обеспечивают плавные переходы, согласуя процесс тонкой настройки с временной динамикой предобученной модели. TIC-FT не требует изменений архитектуры и демонстрирует высокую производительность даже при использовании всего 10–30 обучающих образцов. Мы проверяем наш метод на различных задачах, включая генерацию видео из изображений и видео-в-видео, используя крупномасштабные базовые модели, такие как CogVideoX-5B и Wan-14B. Многочисленные эксперименты показывают, что TIC-FT превосходит существующие базовые подходы как по точности соблюдения условий, так и по визуальному качеству, оставаясь при этом высокоэффективным как в обучении, так и в процессе вывода. Дополнительные результаты доступны по ссылке: https://kinam0252.github.io/TIC-FT/.
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/