Treinamento Eficiente de Modelos Generativos via Aquecimento de Representações Incorporadas

Efficient Generative Model Training via Embedded Representation Warmup

April 14, 2025

Autores: Deyuan Liu, Peng Sun, Xufeng Li, Tao Lin

cs.AI

Resumo

Os modelos de difusão se destacam na geração de dados de alta dimensionalidade, mas apresentam deficiências em eficiência de treinamento e qualidade de representação quando comparados a métodos auto-supervisionados. Identificamos um gargalo crucial: a subutilização de representações de alta qualidade e semanticamente ricas durante o treinamento desacelera significativamente a convergência. Nossa análise sistemática revela uma região crítica de processamento de representações — principalmente nas camadas iniciais — onde ocorre a aprendizagem de padrões semânticos e estruturais antes que a geração possa acontecer. Para resolver isso, propomos o Embedded Representation Warmup (ERW), uma estrutura plug-and-play em que, na primeira etapa, o módulo ERW atua como um aquecimento que inicializa as camadas iniciais do modelo de difusão com representações pré-treinadas de alta qualidade. Esse aquecimento minimiza a carga de aprender representações do zero, acelerando assim a convergência e melhorando o desempenho. Nossa análise teórica demonstra que a eficácia do ERW depende de sua integração precisa em camadas específicas da rede neural — denominadas região de processamento de representações — onde o modelo processa e transforma principalmente as representações de características para geração posterior. Além disso, estabelecemos que o ERW não apenas acelera a convergência do treinamento, mas também aprimora a qualidade das representações: empiricamente, nosso método alcança uma aceleração de 40 vezes na velocidade de treinamento em comparação com o REPA, os métodos mais avançados atualmente. O código está disponível em https://github.com/LINs-lab/ERW.

English

Diffusion models excel at generating high-dimensional data but fall short in training efficiency and representation quality compared to self-supervised methods. We identify a key bottleneck: the underutilization of high-quality, semantically rich representations during training notably slows down convergence. Our systematic analysis reveals a critical representation processing region -- primarily in the early layers -- where semantic and structural pattern learning takes place before generation can occur. To address this, we propose Embedded Representation Warmup (ERW), a plug-and-play framework where in the first stage we get the ERW module serves as a warmup that initializes the early layers of the diffusion model with high-quality, pretrained representations. This warmup minimizes the burden of learning representations from scratch, thereby accelerating convergence and boosting performance. Our theoretical analysis demonstrates that ERW's efficacy depends on its precise integration into specific neural network layers -- termed the representation processing region -- where the model primarily processes and transforms feature representations for later generation. We further establish that ERW not only accelerates training convergence but also enhances representation quality: empirically, our method achieves a 40times acceleration in training speed compared to REPA, the current state-of-the-art methods. Code is available at https://github.com/LINs-lab/ERW.