Tijdgebonden In-Context Fine-Tuning voor Veelzijdige Beheersing van Video-Diffusiemodellen
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
Auteurs: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
Samenvatting
Recente vooruitgang in tekst-naar-video diffusiemodellen heeft hoogwaardige videosynthese mogelijk gemaakt, maar beheerste generatie blijft een uitdaging, vooral bij beperkte data en rekenkracht. Bestaande fine-tuningmethoden voor conditionele generatie zijn vaak afhankelijk van externe encoders of architectuurwijzigingen, die grote datasets vereisen en meestal beperkt zijn tot ruimtelijk uitgelijnde conditionering, wat flexibiliteit en schaalbaarheid beperkt. In dit werk introduceren we Temporal In-Context Fine-Tuning (TIC-FT), een efficiënte en veelzijdige aanpak voor het aanpassen van vooraf getrainde videodiffusiemodellen aan diverse conditionele generatietaken. Onze kernidee is om conditie- en doelbeelden langs de temporele as samen te voegen en tussenliggende bufferbeelden in te voegen met geleidelijk toenemende ruisniveaus. Deze bufferbeelden maken soepele overgangen mogelijk, waardoor het fine-tuningproces wordt afgestemd op de temporele dynamiek van het vooraf getrainde model. TIC-FT vereist geen architectuurwijzigingen en behaalt sterke prestaties met slechts 10-30 trainingsmonsters. We valideren onze methode voor een reeks taken, waaronder beeld-naar-video en video-naar-videogeneratie, met behulp van grootschalige basismodellen zoals CogVideoX-5B en Wan-14B. Uitgebreide experimenten tonen aan dat TIC-FT bestaande baseline-methoden overtreft in zowel conditionele trouw als visuele kwaliteit, terwijl het zeer efficiënt blijft in zowel training als inferentie. Voor aanvullende resultaten, bezoek https://kinam0252.github.io/TIC-FT/
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/