Afinamiento Temporal en Contexto para el Control Versátil de Modelos de Difusión de Video
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Autores: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Resumen
Los recientes avances en los modelos de difusión de texto a video han permitido la síntesis de videos de alta calidad, pero la generación controlada sigue siendo un desafío, particularmente con datos y capacidad de cómputo limitados. Los métodos existentes de ajuste fino para la generación condicional a menudo dependen de codificadores externos o modificaciones arquitectónicas, que requieren grandes conjuntos de datos y suelen estar restringidos a condiciones espacialmente alineadas, limitando la flexibilidad y escalabilidad. En este trabajo, presentamos Temporal In-Context Fine-Tuning (TIC-FT), un enfoque eficiente y versátil para adaptar modelos de difusión de video preentrenados a diversas tareas de generación condicional. Nuestra idea clave es concatenar los marcos de condición y objetivo a lo largo del eje temporal e insertar marcos de búfer intermedios con niveles de ruido progresivamente crecientes. Estos marcos de búfer permiten transiciones suaves, alineando el proceso de ajuste fino con la dinámica temporal del modelo preentrenado. TIC-FT no requiere cambios arquitectónicos y logra un rendimiento sólido con tan solo 10-30 muestras de entrenamiento. Validamos nuestro método en una variedad de tareas, incluyendo generación de imagen a video y video a video, utilizando modelos base a gran escala como CogVideoX-5B y Wan-14B. Experimentos extensos muestran que TIC-FT supera a las líneas base existentes tanto en fidelidad de condición como en calidad visual, manteniéndose altamente eficiente tanto en entrenamiento como en inferencia. Para resultados adicionales, visite https://kinam0252.github.io/TIC-FT/.
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/