Fine-Tuning Contestuale Temporale per il Controllo Versatile dei Modelli di Diffusione Video
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Autori: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Abstract
I recenti progressi nei modelli di diffusione testo-video hanno reso possibile la sintesi di video di alta qualità, ma la generazione controllata rimane una sfida, specialmente in contesti con dati e risorse computazionali limitati. I metodi esistenti di fine-tuning per la generazione condizionata spesso si basano su encoder esterni o modifiche architetturali, che richiedono grandi dataset e sono tipicamente limitati a condizionamenti spazialmente allineati, riducendo flessibilità e scalabilità. In questo lavoro, introduciamo il Temporal In-Context Fine-Tuning (TIC-FT), un approccio efficiente e versatile per adattare modelli di diffusione video pre-addestrati a diverse attività di generazione condizionata. L'idea chiave è concatenare i frame di condizione e quelli target lungo l'asse temporale, inserendo frame intermedi di buffer con livelli di rumore progressivamente crescenti. Questi frame di buffer consentono transizioni fluide, allineando il processo di fine-tuning con le dinamiche temporali del modello pre-addestrato. TIC-FT non richiede modifiche architetturali e ottiene prestazioni robuste con soli 10-30 campioni di addestramento. Validiamo il nostro metodo su una gamma di attività, tra cui generazione immagine-video e video-video, utilizzando modelli di base su larga scala come CogVideoX-5B e Wan-14B. Esperimenti estensivi dimostrano che TIC-FT supera i baseline esistenti sia nella fedeltà alla condizione che nella qualità visiva, mantenendo un'elevata efficienza sia in fase di addestramento che di inferenza. Per ulteriori risultati, visitare https://kinam0252.github.io/TIC-FT/.
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/