Ajuste Temporal em Contexto para Controle Versátil de Modelos de Difusão de Vídeo

Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models

June 1, 2025

Autores: Kinam Kim, Junha Hyung, Jaegul Choo

cs.AI

Resumo

Os recentes avanços em modelos de difusão de texto para vídeo permitiram a síntese de vídeos de alta qualidade, mas a geração controlável ainda é desafiadora, especialmente sob limitações de dados e capacidade computacional. Os métodos existentes de ajuste fino para geração condicional frequentemente dependem de codificadores externos ou modificações arquitetônicas, que exigem grandes conjuntos de dados e são tipicamente restritos a condicionamentos espacialmente alinhados, limitando a flexibilidade e escalabilidade. Neste trabalho, introduzimos o Temporal In-Context Fine-Tuning (TIC-FT), uma abordagem eficiente e versátil para adaptar modelos de difusão de vídeo pré-treinados a diversas tarefas de geração condicional. Nossa ideia principal é concatenar quadros de condição e alvo ao longo do eixo temporal e inserir quadros intermediários de buffer com níveis de ruído progressivamente crescentes. Esses quadros de buffer permitem transições suaves, alinhando o processo de ajuste fino com a dinâmica temporal do modelo pré-treinado. O TIC-FT não requer alterações arquitetônicas e alcança um desempenho robusto com apenas 10 a 30 amostras de treinamento. Validamos nosso método em uma variedade de tarefas, incluindo geração de imagem para vídeo e vídeo para vídeo, utilizando modelos base de grande escala, como o CogVideoX-5B e o Wan-14B. Experimentos extensivos mostram que o TIC-FT supera as linhas de base existentes tanto em fidelidade de condição quanto em qualidade visual, mantendo-se altamente eficiente tanto no treinamento quanto na inferência. Para resultados adicionais, visite https://kinam0252.github.io/TIC-FT/.

English

Recent advances in text-to-video diffusion models have enabled high-quality video synthesis, but controllable generation remains challenging, particularly under limited data and compute. Existing fine-tuning methods for conditional generation often rely on external encoders or architectural modifications, which demand large datasets and are typically restricted to spatially aligned conditioning, limiting flexibility and scalability. In this work, we introduce Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach for adapting pretrained video diffusion models to diverse conditional generation tasks. Our key idea is to concatenate condition and target frames along the temporal axis and insert intermediate buffer frames with progressively increasing noise levels. These buffer frames enable smooth transitions, aligning the fine-tuning process with the pretrained model's temporal dynamics. TIC-FT requires no architectural changes and achieves strong performance with as few as 10-30 training samples. We validate our method across a range of tasks, including image-to-video and video-to-video generation, using large-scale base models such as CogVideoX-5B and Wan-14B. Extensive experiments show that TIC-FT outperforms existing baselines in both condition fidelity and visual quality, while remaining highly efficient in both training and inference. For additional results, visit https://kinam0252.github.io/TIC-FT/