Cross-Frame Representatie-Uitlijning voor Fine-Tuning van Video-Diffusiemodellen

Cross-Frame Representation Alignment for Fine-Tuning Video Diffusion Models

June 10, 2025

Auteurs: Sungwon Hwang, Hyojin Jang, Kinam Kim, Minho Park, Jaegul choo

cs.AI

Samenvatting

Het finetunen van Video Diffusion Models (VDMs) op gebruikersniveau om video's te genereren die specifieke kenmerken van de trainingsdata weerspiegelen, brengt aanzienlijke uitdagingen met zich mee, maar blijft ondanks het praktische belang onderbelicht. Ondertussen heeft recent werk, zoals Representation Alignment (REPA), veelbelovende resultaten laten zien in het verbeteren van de convergentie en kwaliteit van DiT-gebaseerde beelddiffusiemodellen door de interne verborgen toestanden af te stemmen op, of te assimileren met, externe vooraf getrainde visuele kenmerken, wat suggereert dat het potentieel heeft voor het finetunen van VDMs. In dit werk stellen we eerst een eenvoudige aanpassing van REPA voor VDMs voor en tonen empirisch aan dat, hoewel effectief voor convergentie, het suboptimaal is in het behouden van semantische consistentie tussen frames. Om deze beperking aan te pakken, introduceren we Cross-frame Representation Alignment (CREPA), een nieuwe regularisatietechniek die de verborgen toestanden van een frame afstemt op externe kenmerken van naburige frames. Empirische evaluaties op grootschalige VDMs, waaronder CogVideoX-5B en Hunyuan Video, tonen aan dat CREPA zowel de visuele kwaliteit als de semantische samenhang tussen frames verbetert wanneer het wordt gefinetuned met parameter-efficiënte methoden zoals LoRA. We valideren CREPA verder over diverse datasets met uiteenlopende kenmerken, wat de brede toepasbaarheid ervan bevestigt. Projectpagina: https://crepavideo.github.io

English

Fine-tuning Video Diffusion Models (VDMs) at the user level to generate videos that reflect specific attributes of training data presents notable challenges, yet remains underexplored despite its practical importance. Meanwhile, recent work such as Representation Alignment (REPA) has shown promise in improving the convergence and quality of DiT-based image diffusion models by aligning, or assimilating, its internal hidden states with external pretrained visual features, suggesting its potential for VDM fine-tuning. In this work, we first propose a straightforward adaptation of REPA for VDMs and empirically show that, while effective for convergence, it is suboptimal in preserving semantic consistency across frames. To address this limitation, we introduce Cross-frame Representation Alignment (CREPA), a novel regularization technique that aligns hidden states of a frame with external features from neighboring frames. Empirical evaluations on large-scale VDMs, including CogVideoX-5B and Hunyuan Video, demonstrate that CREPA improves both visual fidelity and cross-frame semantic coherence when fine-tuned with parameter-efficient methods such as LoRA. We further validate CREPA across diverse datasets with varying attributes, confirming its broad applicability. Project page: https://crepavideo.github.io