Réglage contextuel temporel pour un contrôle polyvalent des modèles de diffusion vidéo
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Auteurs: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Résumé
Les récentes avancées dans les modèles de diffusion texte-vidéo ont permis une synthèse vidéo de haute qualité, mais la génération contrôlée reste un défi, en particulier avec des données et des ressources de calcul limitées. Les méthodes existantes de fine-tuning pour la génération conditionnelle reposent souvent sur des encodeurs externes ou des modifications architecturales, qui nécessitent de grands ensembles de données et sont généralement limitées à des conditions spatialement alignées, réduisant ainsi la flexibilité et l'évolutivité. Dans ce travail, nous introduisons le Temporal In-Context Fine-Tuning (TIC-FT), une approche efficace et polyvalente pour adapter des modèles de diffusion vidéo pré-entraînés à diverses tâches de génération conditionnelle. Notre idée clé est de concaténer les images de condition et les images cibles le long de l'axe temporel et d'insérer des images tampon intermédiaires avec des niveaux de bruit progressivement croissants. Ces images tampon permettent des transitions fluides, alignant le processus de fine-tuning avec la dynamique temporelle du modèle pré-entraîné. TIC-FT ne nécessite aucune modification architecturale et obtient de solides performances avec seulement 10 à 30 échantillons d'entraînement. Nous validons notre méthode sur une gamme de tâches, incluant la génération image-à-vidéo et vidéo-à-vidéo, en utilisant des modèles de base à grande échelle tels que CogVideoX-5B et Wan-14B. Des expériences approfondies montrent que TIC-FT surpasse les approches existantes en termes de fidélité à la condition et de qualité visuelle, tout en restant très efficace à la fois en entraînement et en inférence. Pour des résultats supplémentaires, visitez https://kinam0252.github.io/TIC-FT/
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/