Alinhamento de Representação Interquadros para Ajuste Fino de Modelos de Difusão de Vídeo

Cross-Frame Representation Alignment for Fine-Tuning Video Diffusion Models

June 10, 2025

Autores: Sungwon Hwang, Hyojin Jang, Kinam Kim, Minho Park, Jaegul choo

cs.AI

Resumo

O ajuste fino de modelos de difusão de vídeo (VDMs) no nível do usuário para gerar vídeos que reflitam atributos específicos dos dados de treinamento apresenta desafios notáveis, mas ainda é pouco explorado, apesar de sua importância prática. Enquanto isso, trabalhos recentes, como o Alinhamento de Representação (REPA), mostraram potencial em melhorar a convergência e a qualidade de modelos de difusão de imagens baseados em DiT, alinhando ou assimilando seus estados internos ocultos com características visuais pré-treinadas externas, sugerindo seu potencial para o ajuste fino de VDMs. Neste trabalho, primeiro propomos uma adaptação direta do REPA para VDMs e empiricamente mostramos que, embora eficaz para a convergência, ele é subótimo na preservação da consistência semântica entre os quadros. Para superar essa limitação, introduzimos o Alinhamento de Representação Cruzada entre Quadros (CREPA), uma nova técnica de regularização que alinha os estados ocultos de um quadro com características externas de quadros vizinhos. Avaliações empíricas em VDMs de grande escala, incluindo CogVideoX-5B e Hunyuan Video, demonstram que o CREPA melhora tanto a fidelidade visual quanto a coerência semântica entre quadros quando ajustado com métodos eficientes em parâmetros, como LoRA. Validamos ainda o CREPA em diversos conjuntos de dados com atributos variados, confirmando sua ampla aplicabilidade. Página do projeto: https://crepavideo.github.io

English

Fine-tuning Video Diffusion Models (VDMs) at the user level to generate videos that reflect specific attributes of training data presents notable challenges, yet remains underexplored despite its practical importance. Meanwhile, recent work such as Representation Alignment (REPA) has shown promise in improving the convergence and quality of DiT-based image diffusion models by aligning, or assimilating, its internal hidden states with external pretrained visual features, suggesting its potential for VDM fine-tuning. In this work, we first propose a straightforward adaptation of REPA for VDMs and empirically show that, while effective for convergence, it is suboptimal in preserving semantic consistency across frames. To address this limitation, we introduce Cross-frame Representation Alignment (CREPA), a novel regularization technique that aligns hidden states of a frame with external features from neighboring frames. Empirical evaluations on large-scale VDMs, including CogVideoX-5B and Hunyuan Video, demonstrate that CREPA improves both visual fidelity and cross-frame semantic coherence when fine-tuned with parameter-efficient methods such as LoRA. We further validate CREPA across diverse datasets with varying attributes, confirming its broad applicability. Project page: https://crepavideo.github.io