Entraînement efficace de modèles génératifs via préchauffage des représentations intégrées

Efficient Generative Model Training via Embedded Representation Warmup

April 14, 2025

Auteurs: Deyuan Liu, Peng Sun, Xufeng Li, Tao Lin

cs.AI

Résumé

Les modèles de diffusion excellent dans la génération de données de haute dimension, mais ils sont moins performants en termes d'efficacité d'entraînement et de qualité de représentation par rapport aux méthodes auto-supervisées. Nous identifions un goulot d'étranglement clé : la sous-utilisation de représentations de haute qualité et riches en sémantique pendant l'entraînement ralentit considérablement la convergence. Notre analyse systématique révèle une région critique de traitement des représentations — principalement dans les premières couches — où l'apprentissage des motifs sémantiques et structurels a lieu avant que la génération ne puisse se produire. Pour remédier à cela, nous proposons l'Embedded Representation Warmup (ERW), un framework plug-and-play où, dans une première étape, le module ERW sert d'échauffement en initialisant les premières couches du modèle de diffusion avec des représentations pré-entraînées de haute qualité. Cet échauffement minimise la charge d'apprentissage des représentations à partir de zéro, accélérant ainsi la convergence et améliorant les performances. Notre analyse théorique démontre que l'efficacité de l'ERW dépend de son intégration précise dans des couches spécifiques du réseau neuronal — appelées la région de traitement des représentations — où le modèle traite et transforme principalement les représentations de caractéristiques pour la génération ultérieure. Nous établissons en outre que l'ERW accélère non seulement la convergence de l'entraînement, mais améliore également la qualité des représentations : empiriquement, notre méthode atteint une accélération de 40 fois la vitesse d'entraînement par rapport à REPA, les méthodes actuelles de pointe. Le code est disponible à l'adresse https://github.com/LINs-lab/ERW.

English

Diffusion models excel at generating high-dimensional data but fall short in training efficiency and representation quality compared to self-supervised methods. We identify a key bottleneck: the underutilization of high-quality, semantically rich representations during training notably slows down convergence. Our systematic analysis reveals a critical representation processing region -- primarily in the early layers -- where semantic and structural pattern learning takes place before generation can occur. To address this, we propose Embedded Representation Warmup (ERW), a plug-and-play framework where in the first stage we get the ERW module serves as a warmup that initializes the early layers of the diffusion model with high-quality, pretrained representations. This warmup minimizes the burden of learning representations from scratch, thereby accelerating convergence and boosting performance. Our theoretical analysis demonstrates that ERW's efficacy depends on its precise integration into specific neural network layers -- termed the representation processing region -- where the model primarily processes and transforms feature representations for later generation. We further establish that ERW not only accelerates training convergence but also enhances representation quality: empirically, our method achieves a 40times acceleration in training speed compared to REPA, the current state-of-the-art methods. Code is available at https://github.com/LINs-lab/ERW.