Temporale In-Context-Feinabstimmung für vielseitige Steuerung von Video-Diffusionsmodellen
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Autoren: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Zusammenfassung
Jüngste Fortschritte in Text-zu-Video-Diffusionsmodellen haben die Synthese hochwertiger Videos ermöglicht, doch die kontrollierbare Generierung bleibt eine Herausforderung, insbesondere bei begrenzten Daten und Rechenressourcen. Bestehende Feinabstimmungsmethoden für die bedingte Generierung verlassen sich oft auf externe Encoder oder architektonische Modifikationen, die große Datensätze erfordern und typischerweise auf räumlich ausgerichtete Bedingungen beschränkt sind, was die Flexibilität und Skalierbarkeit einschränkt. In dieser Arbeit stellen wir Temporal In-Context Fine-Tuning (TIC-FT) vor, einen effizienten und vielseitigen Ansatz zur Anpassung vortrainierter Video-Diffusionsmodelle für verschiedene bedingte Generierungsaufgaben. Unser zentraler Gedanke ist, Bedingungs- und Zielbilder entlang der zeitlichen Achse zu verketten und Zwischenpufferbilder mit progressiv ansteigenden Rauschpegeln einzufügen. Diese Pufferbilder ermöglichen sanfte Übergänge und richten den Feinabstimmungsprozess an den zeitlichen Dynamiken des vortrainierten Modells aus. TIC-FT erfordert keine architektonischen Änderungen und erzielt eine starke Leistung mit nur 10-30 Trainingsbeispielen. Wir validieren unsere Methode in einer Reihe von Aufgaben, einschließlich Bild-zu-Video- und Video-zu-Video-Generierung, unter Verwendung großformatiger Basismodelle wie CogVideoX-5B und Wan-14B. Umfangreiche Experimente zeigen, dass TIC-FT bestehende Baselines sowohl in der Bedingungstreue als auch in der visuellen Qualität übertrifft, während es sowohl im Training als auch in der Inferenz äußerst effizient bleibt. Für weitere Ergebnisse besuchen Sie https://kinam0252.github.io/TIC-FT/.
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/