Entrenamiento eficiente de modelos generativos mediante calentamiento de representaciones embebidas

Efficient Generative Model Training via Embedded Representation Warmup

April 14, 2025

Autores: Deyuan Liu, Peng Sun, Xufeng Li, Tao Lin

cs.AI

Resumen

Los modelos de difusión sobresalen en la generación de datos de alta dimensionalidad, pero se quedan cortos en eficiencia de entrenamiento y calidad de representación en comparación con los métodos de auto-supervisión. Identificamos un cuello de botella clave: la subutilización de representaciones de alta calidad y semánticamente ricas durante el entrenamiento ralentiza notablemente la convergencia. Nuestro análisis sistemático revela una región crítica de procesamiento de representaciones —principalmente en las capas iniciales— donde tiene lugar el aprendizaje de patrones semánticos y estructurales antes de que pueda ocurrir la generación. Para abordar esto, proponemos Embedded Representation Warmup (ERW), un marco plug-and-play en el que, en la primera etapa, el módulo ERW sirve como un calentamiento que inicializa las capas iniciales del modelo de difusión con representaciones preentrenadas de alta calidad. Este calentamiento minimiza la carga de aprender representaciones desde cero, acelerando así la convergencia y mejorando el rendimiento. Nuestro análisis teórico demuestra que la eficacia de ERW depende de su integración precisa en capas específicas de la red neuronal —denominadas la región de procesamiento de representaciones— donde el modelo procesa y transforma principalmente las representaciones de características para la generación posterior. Además, establecemos que ERW no solo acelera la convergencia del entrenamiento, sino que también mejora la calidad de las representaciones: empíricamente, nuestro método logra una aceleración de 40 veces en la velocidad de entrenamiento en comparación con REPA, los métodos actuales más avanzados. El código está disponible en https://github.com/LINs-lab/ERW.

English

Diffusion models excel at generating high-dimensional data but fall short in training efficiency and representation quality compared to self-supervised methods. We identify a key bottleneck: the underutilization of high-quality, semantically rich representations during training notably slows down convergence. Our systematic analysis reveals a critical representation processing region -- primarily in the early layers -- where semantic and structural pattern learning takes place before generation can occur. To address this, we propose Embedded Representation Warmup (ERW), a plug-and-play framework where in the first stage we get the ERW module serves as a warmup that initializes the early layers of the diffusion model with high-quality, pretrained representations. This warmup minimizes the burden of learning representations from scratch, thereby accelerating convergence and boosting performance. Our theoretical analysis demonstrates that ERW's efficacy depends on its precise integration into specific neural network layers -- termed the representation processing region -- where the model primarily processes and transforms feature representations for later generation. We further establish that ERW not only accelerates training convergence but also enhances representation quality: empirically, our method achieves a 40times acceleration in training speed compared to REPA, the current state-of-the-art methods. Code is available at https://github.com/LINs-lab/ERW.