Эффективное обучение генеративных моделей с использованием прогрева встроенных представлений

Efficient Generative Model Training via Embedded Representation Warmup

April 14, 2025

Авторы: Deyuan Liu, Peng Sun, Xufeng Li, Tao Lin

cs.AI

Аннотация

Диффузионные модели демонстрируют превосходство в генерации высокоразмерных данных, однако уступают в эффективности обучения и качестве представлений по сравнению с методами самообучения. Мы выявили ключевое узкое место: недостаточное использование высококачественных, семантически насыщенных представлений в процессе обучения значительно замедляет сходимость. Наш систематический анализ обнаруживает критическую область обработки представлений — преимущественно в начальных слоях — где происходит обучение семантическим и структурным паттернам перед началом генерации. Для решения этой проблемы мы предлагаем Embedded Representation Warmup (ERW), модульную структуру, в которой на первом этапе модуль ERW выполняет роль разогрева, инициализируя начальные слои диффузионной модели высококачественными предобученными представлениями. Этот разогрев минимизирует необходимость обучения представлений с нуля, тем самым ускоряя сходимость и повышая производительность. Наш теоретический анализ показывает, что эффективность ERW зависит от точной интеграции в определённые слои нейронной сети — называемые областью обработки представлений — где модель в основном обрабатывает и преобразует признаки для последующей генерации. Мы также устанавливаем, что ERW не только ускоряет сходимость обучения, но и улучшает качество представлений: эмпирически наш метод достигает 40-кратного ускорения скорости обучения по сравнению с REPA, современными методами. Код доступен по адресу https://github.com/LINs-lab/ERW.

English

Diffusion models excel at generating high-dimensional data but fall short in training efficiency and representation quality compared to self-supervised methods. We identify a key bottleneck: the underutilization of high-quality, semantically rich representations during training notably slows down convergence. Our systematic analysis reveals a critical representation processing region -- primarily in the early layers -- where semantic and structural pattern learning takes place before generation can occur. To address this, we propose Embedded Representation Warmup (ERW), a plug-and-play framework where in the first stage we get the ERW module serves as a warmup that initializes the early layers of the diffusion model with high-quality, pretrained representations. This warmup minimizes the burden of learning representations from scratch, thereby accelerating convergence and boosting performance. Our theoretical analysis demonstrates that ERW's efficacy depends on its precise integration into specific neural network layers -- termed the representation processing region -- where the model primarily processes and transforms feature representations for later generation. We further establish that ERW not only accelerates training convergence but also enhances representation quality: empirically, our method achieves a 40times acceleration in training speed compared to REPA, the current state-of-the-art methods. Code is available at https://github.com/LINs-lab/ERW.