Effizientes Training von generativen Modellen durch Einbettungsrepräsentations-Vorwärmung

Efficient Generative Model Training via Embedded Representation Warmup

April 14, 2025

Autoren: Deyuan Liu, Peng Sun, Xufeng Li, Tao Lin

cs.AI

Zusammenfassung

Diffusionsmodelle zeichnen sich durch die Erzeugung hochdimensionaler Daten aus, bleiben jedoch in Bezug auf Trainings effizienz und Repräsentationsqualität hinter selbstüberwachten Methoden zurück. Wir identifizieren einen zentralen Engpass: Die unzureichende Nutzung hochwertiger, semantisch reicher Repräsentationen während des Trainings verlangsamt die Konvergenz erheblich. Unsere systematische Analyse deckt eine kritische Repräsentationsverarbeitungsregion auf – hauptsächlich in den frühen Schichten –, in der das Lernen semantischer und struktureller Muster stattfindet, bevor die Generierung erfolgen kann. Um dies zu adressieren, schlagen wir Embedded Representation Warmup (ERW) vor, ein Plug-and-Play-Framework, bei dem das ERW-Modul in der ersten Phase als Warmup dient, das die frühen Schichten des Diffusionsmodells mit hochwertigen, vortrainierten Repräsentationen initialisiert. Dieses Warmup minimiert die Belastung, Repräsentationen von Grund auf zu lernen, und beschleunigt dadurch die Konvergenz und steigert die Leistung. Unsere theoretische Analyse zeigt, dass die Wirksamkeit von ERW von seiner präzisen Integration in bestimmte neuronale Netzwerkschichten abhängt – bezeichnet als die Repräsentationsverarbeitungsregion –, in der das Modell hauptsächlich Merkmalsrepräsentationen für die spätere Generierung verarbeitet und transformiert. Wir belegen weiterhin, dass ERW nicht nur die Trainingskonvergenz beschleunigt, sondern auch die Repräsentationsqualität verbessert: Empirisch erreicht unsere Methode eine 40-fache Beschleunigung der Trainingsgeschwindigkeit im Vergleich zu REPA, den derzeitigen State-of-the-Art-Methoden. Der Code ist verfügbar unter https://github.com/LINs-lab/ERW.

English

Diffusion models excel at generating high-dimensional data but fall short in training efficiency and representation quality compared to self-supervised methods. We identify a key bottleneck: the underutilization of high-quality, semantically rich representations during training notably slows down convergence. Our systematic analysis reveals a critical representation processing region -- primarily in the early layers -- where semantic and structural pattern learning takes place before generation can occur. To address this, we propose Embedded Representation Warmup (ERW), a plug-and-play framework where in the first stage we get the ERW module serves as a warmup that initializes the early layers of the diffusion model with high-quality, pretrained representations. This warmup minimizes the burden of learning representations from scratch, thereby accelerating convergence and boosting performance. Our theoretical analysis demonstrates that ERW's efficacy depends on its precise integration into specific neural network layers -- termed the representation processing region -- where the model primarily processes and transforms feature representations for later generation. We further establish that ERW not only accelerates training convergence but also enhances representation quality: empirically, our method achieves a 40times acceleration in training speed compared to REPA, the current state-of-the-art methods. Code is available at https://github.com/LINs-lab/ERW.