Allineamento della Rappresentazione Inter-Frame per il Fine-Tuning di Modelli di Diffusione Video

Cross-Frame Representation Alignment for Fine-Tuning Video Diffusion Models

June 10, 2025

Autori: Sungwon Hwang, Hyojin Jang, Kinam Kim, Minho Park, Jaegul choo

cs.AI

Abstract

Il fine-tuning dei modelli di diffusione video (VDM) a livello utente per generare video che riflettano attributi specifici dei dati di addestramento presenta sfide significative, rimanendo tuttavia poco esplorato nonostante la sua importanza pratica. Nel frattempo, lavori recenti come l'Allineamento delle Rappresentazioni (REPA) hanno mostrato promettenti miglioramenti nella convergenza e nella qualità dei modelli di diffusione basati su DiT per le immagini, allineando o assimilando i loro stati interni nascosti con caratteristiche visive pre-addestrate esterne, suggerendo il suo potenziale per il fine-tuning dei VDM. In questo lavoro, proponiamo innanzitutto un adattamento diretto di REPA per i VDM e dimostriamo empiricamente che, sebbene efficace per la convergenza, è subottimale nel preservare la coerenza semantica tra i fotogrammi. Per affrontare questa limitazione, introduciamo l'Allineamento delle Rappresentazioni Inter-fotogramma (CREPA), una nuova tecnica di regolarizzazione che allinea gli stati nascosti di un fotogramma con caratteristiche esterne provenienti da fotogrammi adiacenti. Valutazioni empiriche su VDM su larga scala, tra cui CogVideoX-5B e Hunyuan Video, dimostrano che CREPA migliora sia la fedeltà visiva che la coerenza semantica inter-fotogramma quando sottoposto a fine-tuning con metodi efficienti in termini di parametri come LoRA. Validiamo ulteriormente CREPA su diversi dataset con attributi variabili, confermandone l'ampia applicabilità. Pagina del progetto: https://crepavideo.github.io

English

Fine-tuning Video Diffusion Models (VDMs) at the user level to generate videos that reflect specific attributes of training data presents notable challenges, yet remains underexplored despite its practical importance. Meanwhile, recent work such as Representation Alignment (REPA) has shown promise in improving the convergence and quality of DiT-based image diffusion models by aligning, or assimilating, its internal hidden states with external pretrained visual features, suggesting its potential for VDM fine-tuning. In this work, we first propose a straightforward adaptation of REPA for VDMs and empirically show that, while effective for convergence, it is suboptimal in preserving semantic consistency across frames. To address this limitation, we introduce Cross-frame Representation Alignment (CREPA), a novel regularization technique that aligns hidden states of a frame with external features from neighboring frames. Empirical evaluations on large-scale VDMs, including CogVideoX-5B and Hunyuan Video, demonstrate that CREPA improves both visual fidelity and cross-frame semantic coherence when fine-tuned with parameter-efficient methods such as LoRA. We further validate CREPA across diverse datasets with varying attributes, confirming its broad applicability. Project page: https://crepavideo.github.io